登录社区云，与社区用户共同成长
邀请您加入社区
依托昇腾与麒麟NPU同源的达芬奇（DaVinci）架构，以及CANN软件开发能力，开发者在昇腾上完成的部分模型适配与算子实现，可以继续沿用于麒麟端侧，在降低开发投入的同时，也有助于降低云侧推理成本。通过量化与裁剪，形成约0.6B的端侧版本模型，其核心计算模块及相关算子结构与云侧保持一致，面向昇腾的计算设计仍然适用，也为底层代码的端云共用创造了条件。昇腾与麒麟NPU均基于DaVinci架构，底层统一
📲 关注【昇腾CANN】视频号，锁定最新直播信息，干货福利不错过！🎥 视频号、B站、昇腾社区多平台同步直播。🎁 戳链接参与互动，赢惊喜定制好礼。
👉 立即挑战，赢定制周边：https://gitcode.com/cann/cann-learning-hub/issues/777。📅 活动截止时间：10月29日 24:00。
参与报名链接：CANN社区任务-昇腾社区
📅 活动截止时间：10月22日 24:00。
1、CANN整体技术架构与软件栈2、昇腾AI处理器计算核心概览3、主流算子开发编程语言对比4、 如何选择适合你的开发方式
CANN兴趣小组上新：多模态智能计算CANN代码仓上新：oil-gas-ops-prospect、crypto、cannbot-knowledgeCANN样例上新：GLM-5.3-Flash。
【昇腾CANN】视频号、B站、昇腾社区多平台直播 ，观看直播，参与互动赢取惊喜定制礼品。扫码关注【昇腾CANN】视频号，掌握最新直播信息。
👉 抢先解锁课前学习资源：2026昇腾CANN训练营-昇腾社区
B站预约链接：点击预约
B站直播预约：点击预约
全新昇腾950系列课程上线，免费算力、多重好礼等你拿！📅 活动时间：即日起至2027年1月11日。
本周摘要CANN代码仓上新：cannbotCANN技术活动：CANN NEXT系列开播CANN 社区进展直达开源社区：https://gitcode.com/cannCANN 上新。
HiF8不只是节省带宽，而是通过QKPV全量化、紧凑数据表示、Scale复用以及访存/计算流水重构，进一步缓解了原有SparseMLA中明显的Scalar Bound。，HiF8 在权重、激活和KV Cache上均表现出较好的数值保真度，主要Benchmark与高精度基线基本持平；，通过RmsNorm+Quant、Rotary+Quant等融合，将中间结果尽可能留在片上，减少完整Tensor写回和
低比特量化是降低大语言模型推理成本和资源需求的重要手段。随着部署场景对显存占用、带宽压力和计算效率提出更高要求，量化研究正逐渐从 8-bit 进一步推进到 4-bit。HiFloat4（HiF4）是昇腾自研的一种 4-bit 数值格式，通过三级缩放机制显著扩展了低精度数值的动态范围，使其更适配大模型权重和激活中常见的动态范围分布。将高精度权重直接转化为 4 比特格式通常会带来量化误差。因此，量化校
下面这张图可以支撑：HiF8和MXFP8在KV cache上均能保持较高量化保真度，KV cache不是HiF8相比MXFP8的主要精度风险来源，在KV cache SQNR上，未观察到HiF8相比 MXFP8的系统性退化，两种格式整体稳定在相近水平。该结果表明，HiF8在KV cache量化中未引入额外的小值置零风险，并可能相比MXFP8更好地保留低幅值cache信息，HiF8在KV cache
CANN开源
——CANN开源
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
人工智能6S服务平台
CANN开发者社区
