登录社区云,与社区用户共同成长
邀请您加入社区
🌈你好呀!我是🌌 在所有感兴趣的领域扩展知识,不定期掉落福利资讯(*^▽^*)
它通过重组循环内的操作顺序,让不同迭代的计算与内存传输重叠执行,从而实现计算与通信的并行化。在昇腾 NPU 算子开发中,共享内存的高效利用是突破性能瓶颈的关键:一方面,昇腾 NPU 将内存划分为多个层次并存在严苛的容量上限,内存资源极度稀缺,而计算过程中需要创建大量临时缓冲区用于存储中间计算结果。TileLang-Ascend Developer模式的发布,标志着一个关键的转折点:昇腾NPU的高性
大模型推理稳定性 = 模型参数 + 解码策略 + 输出上限 + 后端实现的组合问题。把max_tokens限住、把 guided decoding 关掉、避免 0 温度触发奇怪分支。
直播时间2026年1月29日19:00 - 20:00B站/微信视频号搜索【昇腾CANN】观看直播,参与直播互动可获CANN周边小礼品。今天我们聚焦LLM强化学习入门,专门为有部分技术基础、并且对大模型强化学习感兴趣的朋友准备。这次会带大家解读GRPO的核心原理,然后从基础的环境配置手把手教起,再到实际的模型训练实操,还会分享实用的调参技巧,把入门阶段的核心能力一次性拿捏。我们都知道大语言模型现在
注意:需要在aarch64的环境下载、并且是py3.10环境,需要和镜像内python版本保持一致。这个对于paddlex 或者 gunicorn都会用到。该方式只支持并发为1,处理完一张图片,才处理后面的图片。
本文介绍ATC工具使用,yolo26模型转换,模型移植,以及模型MAP计算方法,最终验证om模型精度与原始模型pt精度误差达到千分之一
项目为车辆检测,所用模型为YOLO11X,最终实现效果为实时检测视频流。本章节介绍了将要部署到香橙派AI Pro的车辆检测工程文件,但是可以看到检测帧数还是比较低,接下来将会使用AIPP和DVPP进行进一步的优化。
性能优化总体思路围绕展开,具体步骤如下。说明:性能优化的前提是不造成精度劣化,特殊情况下,需对齐精度劣化是否能接受。
TeleChat3-105B-A4.7-Thinking是 TeleChat系列国内首个开源的全自主创新千亿参数细粒度MoE语义大模型,由中国电信人工智能研究院(TeleAI)研发训练,在问答、写作、数学、代码、Agent等多维度,与业内头部模型比肩,特别在代码能力、复杂任务通用问答、细粒度MoE等维度上有显著的效果提升,同时采用创新训练方式,加快模型在训练初期的收敛速度,增强模型在训练中的稳定性
昇腾系列课程学习
AscendC算子安全编程实战摘要 本文基于昇腾CANN训练营经验,深度解析AscendC算子开发中的安全编程技术,提出边界检查、异常处理、内存安全三大核心防护策略,并通过Sigmoid算子案例展示企业级安全实践: 边界检查机制 多层级验证架构(快速检查→全面检查→偏执检查) 性能开销实测:全面检查仅增加9.7%耗时,可拦截100%内存越界 异常处理框架 分层模型(设备侧返回错误码+主机侧C++异
华为昇腾310B1平台 [ERROR] Send frame to vdec failed, errorno:507018
这是昇腾知识体系的配套预览材料。为了更高效地开发算子,昇腾平台近期提供了CATLASS算子模板库,本教程是模板库编程的基础入门介绍,从最基础的环境配置,到如何让昇腾芯片发挥最大性能,再到实际调试技巧,十二个章节层层递进。特别适合那些刚接触昇腾开发、但又不熟悉芯片编程的人。比如您不需要一开始就理解什么是"bank冲突",但需要知道如何正确设置工具链。建议初学者先看第1-3章建立基础,再结合第11章和
AI Core的片上存储单元和相应的数据通路构成了存储系统。众所周知,几乎所有的深度学习算法都是数据密集型的应用。对于昇腾AI芯片来说,合理设计的数据存储和传输结构对于最终系统运行的性能至关重要。不合理的设计往往成为性能瓶颈,从而白白浪费了片上海量的计算资源。AI Core通过各种类型分布式缓冲区之间的相互配合,为深度神经网络计算提供了大容量和及时的数据供应,为整体计算性能消除了数据流传输的瓶颈,
使用MindIE部署DeepSeek-V3.2-Exp,完整、详细。
本文介绍了昇腾NPU模型迁移的全流程与方法论,重点解析了迁移的价值、挑战及解决方案。主要内容包括: 迁移价值:昇腾NPU提供更高算力密度和能效比,如船脸识别模型迁移后推理速度提升100倍以上。 核心挑战:包括算子适配、动态Shape、精度差异和性能调优等问题,并给出了具体解决方案。 四阶段方法: 迁移分析:环境准备和兼容性核查 代码适配:CUDA接口替换和自定义算子开发 精度验证:功能验证和精度比
昇腾
——昇腾
联系我们(工作时间:8:30-22:00)
400-660-0108 kefu@csdn.net