登录社区云,与社区用户共同成长
邀请您加入社区
3.**官方技术交流群(微信群)**:昇腾社区官网会发布活动信息,小助手们也会创建微信群聊,进行活动的发布与问题的答疑,在此建立直接联系非常高效。1.**从小处着手,建立信心**:建议**不要**一开始就去挑战大而全的算子重构。2.**先沟通,后动手**:**这是最重要的建议**。3.**缺陷反馈与测试验证**:在日常开发中使用CANN时,将遇到的Bug、崩溃或性能异常通过Issue详细描述(附带
依托昇腾与麒麟NPU同源的达芬奇(DaVinci)架构,以及CANN软件开发能力,开发者在昇腾上完成的部分模型适配与算子实现,可以继续沿用于麒麟端侧,在降低开发投入的同时,也有助于降低云侧推理成本。通过量化与裁剪,形成约0.6B的端侧版本模型,其核心计算模块及相关算子结构与云侧保持一致,面向昇腾的计算设计仍然适用,也为底层代码的端云共用创造了条件。昇腾与麒麟NPU均基于DaVinci架构,底层统一
📲 关注【昇腾CANN】视频号,锁定最新直播信息,干货福利不错过!🎥 视频号、B站、昇腾社区多平台同步直播。🎁 戳链接参与互动,赢惊喜定制好礼。
👉 立即挑战,赢定制周边:https://gitcode.com/cann/cann-learning-hub/issues/777。📅 活动截止时间:10月29日 24:00。
参与报名链接:CANN社区任务-昇腾社区
📅 活动截止时间:10月22日 24:00。
1、CANN整体技术架构与软件栈2、昇腾AI处理器计算核心概览3、主流算子开发编程语言对比4、 如何选择适合你的开发方式
CANN兴趣小组上新:多模态智能计算CANN代码仓上新:oil-gas-ops-prospect、crypto、cannbot-knowledgeCANN样例上新:GLM-5.3-Flash。
【昇腾CANN】视频号、B站、昇腾社区多平台直播 ,观看直播,参与互动赢取惊喜定制礼品。扫码关注【昇腾CANN】视频号,掌握最新直播信息。
👉 抢先解锁课前学习资源:2026昇腾CANN训练营-昇腾社区
B站预约链接:点击预约
B站直播预约:点击预约
全新昇腾950系列课程上线,免费算力、多重好礼等你拿!📅 活动时间:即日起至2027年1月11日。
本周摘要CANN代码仓上新:cannbotCANN技术活动:CANN NEXT系列开播CANN 社区进展直达开源社区:https://gitcode.com/cannCANN 上新。
HiF8不只是节省带宽,而是通过QKPV全量化、紧凑数据表示、Scale复用以及访存/计算流水重构,进一步缓解了原有SparseMLA中明显的Scalar Bound。,HiF8 在权重、激活和KV Cache上均表现出较好的数值保真度,主要Benchmark与高精度基线基本持平;,通过RmsNorm+Quant、Rotary+Quant等融合,将中间结果尽可能留在片上,减少完整Tensor写回和
低比特量化是降低大语言模型推理成本和资源需求的重要手段。随着部署场景对显存占用、带宽压力和计算效率提出更高要求,量化研究正逐渐从 8-bit 进一步推进到 4-bit。HiFloat4(HiF4)是昇腾自研的一种 4-bit 数值格式,通过三级缩放机制显著扩展了低精度数值的动态范围,使其更适配大模型权重和激活中常见的动态范围分布。将高精度权重直接转化为 4 比特格式通常会带来量化误差。因此,量化校
CANN开源
——CANN开源
联系我们(工作时间:8:30-22:00)
400-660-0108 kefu@csdn.net