登录社区云，与社区用户共同成长
邀请您加入社区
本周摘要CANN代码仓上新：cannbotCANN技术活动：CANN NEXT系列开播CANN 社区进展直达开源社区：https://gitcode.com/cannCANN 上新。
HiF8不只是节省带宽，而是通过QKPV全量化、紧凑数据表示、Scale复用以及访存/计算流水重构，进一步缓解了原有SparseMLA中明显的Scalar Bound。，HiF8 在权重、激活和KV Cache上均表现出较好的数值保真度，主要Benchmark与高精度基线基本持平；，通过RmsNorm+Quant、Rotary+Quant等融合，将中间结果尽可能留在片上，减少完整Tensor写回和
低比特量化是降低大语言模型推理成本和资源需求的重要手段。随着部署场景对显存占用、带宽压力和计算效率提出更高要求，量化研究正逐渐从 8-bit 进一步推进到 4-bit。HiFloat4（HiF4）是昇腾自研的一种 4-bit 数值格式，通过三级缩放机制显著扩展了低精度数值的动态范围，使其更适配大模型权重和激活中常见的动态范围分布。将高精度权重直接转化为 4 比特格式通常会带来量化误差。因此，量化校
下面这张图可以支撑：HiF8和MXFP8在KV cache上均能保持较高量化保真度，KV cache不是HiF8相比MXFP8的主要精度风险来源，在KV cache SQNR上，未观察到HiF8相比 MXFP8的系统性退化，两种格式整体稳定在相近水平。该结果表明，HiF8在KV cache量化中未引入额外的小值置零风险，并可能相比MXFP8更好地保留低幅值cache信息，HiF8在KV cache
大模型量化是推理优化的关键能力之一。通过降低权重和激活的数值精度，量化可以减少模型存储、显存占用和计算开销，是大模型在实际业务中高效部署的重要手段。AMCT 是 CANN 社区提供的模型压缩与量化工具，面向昇腾 AI 处理器支持 LLM 模型高效量化，覆盖 BF16 基线评估、PTQ 离线数据提取、PTQ 参数训练、fake quant 精度评估等典型流程。本文与配套使用，提供一份可参考、可跑通的
开源贡献这件事的门槛，从来都不在技术深度，而在流程经验。看文档、逛论坛、加群潜水，这些动作对开发者来说 都不难。开发环境怎么搭？第一个 issue 从哪挑？PR 提上去怎么过 Code Review？奖金激励怎么申请？而流程经验，恰恰是最没法靠“看”学会的——你必须 跑一遍。能不能把“贡献 CANN”这件事，从一句口号，变成一次 当场上手的实操？于是有了这场工坊。
📅 活动时间： 9月1日至10月1日。
CANN技术活动：CANN挑战赛、HCCL通信库创新大赛火热报名中CANN社区进展直达开源社区：https://gitcode.com/cann竞 赛 进 行 时【2026 华为算法挑战赛_CANN挑战赛】开启预报名！面向高校学生同时启动5大赛区：京津冀东北赛区、上合赛区、西北赛区、西南赛区、杭厦赛区，荣誉证书 +秋招机考面试绿卡+丰厚奖金 欢迎广大学生报名参加！【2026 CANN-HCCL通信
CANN
——CANN
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
CANN开发者社区
人工智能6S服务平台
