登录社区云，与社区用户共同成长
邀请您加入社区
低比特量化是降低大语言模型推理成本和资源需求的重要手段。随着部署场景对显存占用、带宽压力和计算效率提出更高要求，量化研究正逐渐从 8-bit 进一步推进到 4-bit。HiFloat4（HiF4）是昇腾自研的一种 4-bit 数值格式，通过三级缩放机制显著扩展了低精度数值的动态范围，使其更适配大模型权重和激活中常见的动态范围分布。将高精度权重直接转化为 4 比特格式通常会带来量化误差。因此，量化校
下面这张图可以支撑：HiF8和MXFP8在KV cache上均能保持较高量化保真度，KV cache不是HiF8相比MXFP8的主要精度风险来源，在KV cache SQNR上，未观察到HiF8相比 MXFP8的系统性退化，两种格式整体稳定在相近水平。该结果表明，HiF8在KV cache量化中未引入额外的小值置零风险，并可能相比MXFP8更好地保留低幅值cache信息，HiF8在KV cache
大模型量化是推理优化的关键能力之一。通过降低权重和激活的数值精度，量化可以减少模型存储、显存占用和计算开销，是大模型在实际业务中高效部署的重要手段。AMCT 是 CANN 社区提供的模型压缩与量化工具，面向昇腾 AI 处理器支持 LLM 模型高效量化，覆盖 BF16 基线评估、PTQ 离线数据提取、PTQ 参数训练、fake quant 精度评估等典型流程。本文与配套使用，提供一份可参考、可跑通的
B站预约链接：点击预约
是面向生命科学领域、负责建设昇腾原生算子库的开源兴趣小组，算子仓为bio-ops-molecule。SIG聚焦多组学数据处理、生物分子模拟和生物基础模型训练等场景，通过高性能行业算子解决计算效率、显存占用和数据访存等底层性能瓶颈。面向高校学生同时启动5大赛区：京津冀东北赛区、上合赛区、西北赛区、西南赛区、杭厦赛区，荣誉证书 +秋招机考面试绿卡+丰厚奖金 欢迎广大学生报名参加！CANN社区新开发者首
CANNBot-DSL正是基于此考虑：把那些复杂、易错、却又不左右性能的动作逐一建模,沉淀为一层架设在昇腾稳定Ascend C之上的软件抽象，让 CANNBot 彻底从繁冗细节中解放出来,回到算法与数据流的主场，心无旁骛，尽展所长。为突破Agent开发复杂高性能算子的各类难题，CANNBot-DSL方案通过昇腾硬件友好的协程范式、框架自动管理同步、Agent友好的API封装、尾块自动处理、性能优化
