登录社区云，与社区用户共同成长
邀请您加入社区
本文提供了昇腾AI环境配置的详细指南，主要包括：1) 关键软件版本对应关系（CANN Toolkit 8.1.RC1、PyTorch 2.5.1等）；2) 配置流程：从固件驱动安装到PyTorch、CANN Toolkit和Kernels的部署；3) 环境变量设置方法；4) 推荐操作系统（OpenEuler/Ubuntu）；5) 常见问题解决方案（权限问题、路径错误等）。特别强调要使用稳定版（be
在AI计算需求呈爆发式增长的当下，华为推出的异构计算架构CANN模型应运而生。它采用芯片使能层、计算框架层、应用使能层三层架构，实现软硬件协同优化。芯片使能层屏蔽硬件差异，支持多种硬件平台；计算框架层提供图编译优化工具，高效映射计算任务；应用使能层为开发者提供丰富开发接口。CANN模型具备高性能，能在诸多任务中实现10倍以上加速；高能效，可显著降低功耗；还有强扩展性，能快速适应新需求与硬件。目前，
摘要：属于“你”那边的麦田 天空 河水 骏马 树木……会是什么颜色呢？
近日，CVPR 2022放榜，基于CANN的AI论文《Interactive Image Synthesis with Panoptic Layout Generation》强势上榜。
摘要：华为推出昇腾AI基础软硬件平台（昇腾AI处理器+异构计算架构CANN），不仅能高效承接各类人工智能计算任务，还可两招解决以上图像处理面临的诸多问题。
AscendCL（Ascend Computing Language，昇腾计算语言）是昇腾计算开放编程框架，是对底层昇腾计算服务接口的封装。
摘要：整整两天，上百场对弈，TA竟然未尝一败，真是让人拍案叫绝。
本期我们来深入讲解网络模型推理场景下，具体怎么做。
2022年，CANN不断突破自我，全新开放升级，迈入新台阶。2023年，CANN将提供更开放、更易用的全新体验！
同时，在Gitee社区上提供了264个基础算子，26个融合算子优秀实践，例如FlashAttention、Matmul等典型算子，开发者可以匹配对应业务场景进行魔改，有基础的开发和创新。CANN（Compute Architecture for Neural Networks）作为昇腾AI的核心基础软件平台，搭起了AI框架与昇腾硬件的桥梁，始终以“使能每一位创新者”为目标，坚持深度开放策略，持续技
当blockLen+leftPadding+rightPadding不满足32字节对齐时，框架会填充一些假数据dummy，保证填充后的数据（左右填充的数据+blockLen+假数据）为32字节对齐。blockLen+leftPadding+rightPadding不满足32字节对齐时，框架会填充一些假数据dummy，保证填充后的数据（左右填充的数据+blockLen+假数据）为32字节对齐。例如在
而SP是按照输入数据的序列长度的维度分的，涉及到的通信主要是正向一次的KV矩阵的AllGather与反向一次的KV矩阵梯度的ReduceScatter。总结一下就是，Attention阶段的序列并行，在模型训练的前向传播中，主要涉及到的集合通信操作有二，一是计算注意力矩阵A′时对于所有序列并行节点上矩阵K的AllGather操作，二是计算输出矩阵O时对于所有序列并行节点上矩阵V的AllGather
LLM-DataDist作为大模型分布式集群和数据管理组件，提供了高性能、零拷贝的点对点数据传输的能力，该能力通过简易的API开放给用户。LLM-DataDist开发的基本流程为“LLM-DataDist初始化 > 建链操作> 申请KV Cache > 推理脚本进行分离部署> 拉取缓存的KV Cache > 执行推理脚本> 释放资源”，LLM-DataDist提供了接口供上层框架调用，实现上述流程
本节针对含有Matmul高层API的算子，为排查在开发过程中遇到的精度问题，是否为算子中Matmul高层API调用方式导致，提供初步的问题定界和定位指导。如未特殊说明，下面均以Atlas A2 训练系列产品/Atlas 800I A2 推理产品上的案例为例。主要介绍根据如下六个步骤，开展具体排查：CPU域调试，观察报错信息；Matmul Tiling是否有修改，修改是否合理；算子隐藏Vector计
尾核&尾块：介绍输入数据无法在多个核间均匀分配，以及在单个核内无法被切分为多个相同大小且32字节对齐的数据块的场景，当算子在AI处理器的多个核上运行时，若数据无法平均分配到每个核，且每个核内的数据也不能均匀分割，如何进行核间和核内的数据切分，以及处理尾核和尾块数据，从而帮助开发者掌握数据切分后同时产生尾核和尾块的处理策略。然而，对于一些深度开发者而言，需要了解在多核、Tiling切分等复杂场景下的
CANN是充分释放处理器极致性能的关键，今年昇腾在计算加速、通信加速、内存优化三大领域协同发力，持续释放硬件价值，创新加速技术，以满足前沿模型架构及工程创新的发展诉求。，通过MLAPO融合算子技术，将MoE模型中13个串行小算子整合为超级大算子，结合Vector与Cube计算单元并行处理，使计算耗时从109ms降至45ms，性能提升超142%，显著释放硬件计算潜力。，开放AscendNPU IR接
流程： 权重加载 -> 启动推理 -> 效果比较与调优 -> 性能测试 -> 性能优化权重加载如微调章节介绍，最终的模型包含两部分：base model 和 LoRA adapter，其中base model的权重在微调时被冻结，推理时加载原权重即可，LoRA adapter可通过PeftModel.from_pretrained进行加载。
本文全面解析AI三大加速平台：NVIDIA CUDA、AMD ROCm和华为CANN，从架构设计到实战应用。CUDA作为行业标准，生态成熟但封闭；ROCm开源跨平台，生态仍在完善；CANN专为国产昇腾NPU设计，软硬协同优势明显。文章对比了三者在编程模型、工具链和适用场景的差异，并给出选型建议：CUDA适合成熟HPC应用，ROCm适合成本敏感型场景，CANN符合国产化需求。未来趋势呈现CUDA生态
CANN和CUDA之间的主要区别在于它们针对的硬件、生态系统成熟度、跨平台能力和开发者资源。随着华为对CANN的持续投入和昇腾处理器的市场渗透，CANN的影响力和市场份额有望进一步扩大。然而，CUDA由于其历史和广泛的应用，仍然在高性能计算和AI领域占据主导地位。华为CANN介绍及与英伟达 CUDA区别 - 53AI-AI生产力的卓越领导者（大模型知识库|大模型训练|智能体开发）
随着DeepSeek系列模型的持续演进，昇腾也在不断探索推理预处理阶段中MLA的计算加速技术，通过VV融合（多个Vector算子融合），进一步提升MLA预处理阶段的计算效率。Q在经过RmsNorm后，进入Q升维矩阵做矩阵乘，升维后每个token变为128个Head，每个Head的HeadDim为192。DeepSeekV3火爆全球的同时，针对DeepSeek系列模型的计算优化思路也在不断探索泛化中
重磅发布CANN 8.0：新版本新增80多个融合算子、100多个Ascend C API，自研NB2.0和NHR集合通信算法并全面适应于超节点方案，基于LLM P-D分离部署方案设计并发布LLMDataDist组件，同时支持图模式能力扩展库TorchAir，提升PyTorch在NPU上的大模型推理性能。
异构计算架构CANN（Compute Architecture for Neural Networks）是华为针对AI场景推出的异构计算架构，向上支持多种AI框架，包括MindSpore、PyTorch、TensorFlow等，向下服务AI处理器与编程，发挥承上启下的关键作用，是提升昇腾AI处理器计算效率的关键平台。同时针对多样化应用场景，提供多层次编程接口，支持用户快速构建基于昇腾平台的AI应用
通用模型迁移适配可以分为四个阶段：迁移分析、迁移适配、精度调试与性能调优。迁移分析迁移适配精度调试性能调优。
西北工业大学的徐韬教授及其课题组，将昇腾CANN等专项课程融入教学体系，高校开发者得以直面昇腾处理器优化的实际需求，系统掌握从算法设计到硬件适配的全链条技能，同时高校作为创新人才的摇篮，可推动学术成果转化为产业应用，将研究成果反哺生态，助力中国在深度学习基础领域实现从"跟跑"到"领跑"的跨越。在人工智能技术呈指数级发展的今天，AI创新已走向更底层的算法创新，以DeepSeek为例，通过MoE模型架
Host调度模式下，GE将模型中算子的执行单元划分为Host CPU执行与Device（昇腾AI处理器）执行两大类。
如何减少Host Bound模型的Device空闲时间，从而优化模型执行性能显得尤其重要，GE（Graph Engine）图引擎通过图模式的Host调度和模型下沉调度的方式，可提升模型调度性能，缩短模型E2E执行时间。
GE（Graph Engine）图引擎采用多流并行算法，在满足计算图任务内部依赖关系的前提下，支持高效并发执行计算任务，从而大大提高硬件资源利用率和AI计算效率。
本文针对FlashAttention反向融合算子的性能优化方案展开介绍，并通过优化实现了典型场景4倍左右的性能提升，希望对开发者优化此类基于Ascend C开发的融合算子带来启发。
本文重点介绍基于Ascend C算子编程语言完成自定义算子的开发和部署后，如何调用自定义算子验证算子功能。
昇腾 AI 全栈可以分成四个大部分：1．应用使能层面，此层面通常包含用于部署模型的软硬件，例如 API 、 SDK 、部署平台，模型库等等。2. AI 框架层面，此层面包含用于构建模型的训练框架，例如华为的 MindSpore 、TensorFlow 、 Pytorch 等。3．异构计算架构，偏底层、偏通用的计算框架，用于针对上层 AI 框架的调用进行加速，力求向上支持多种 AI 框架，并在硬件上
CANN
——CANN
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
2048 AI社区
昇腾社区
天启AI社区
DeepSeek技术社区
华为开发者空间
昇腾AI开发者社区
