logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

CANN图模式 --ACL Graph运行时简介

大模型推理越来越快,很多人第一反应是“芯片变强了”。但真正懂部署的开发者都知道——有时候 NPU 不是在算,是在等 Host 下发指令。今天我们就拆一个最容易被忽略、但收益极高的点:CANN Runtime 的ACL Graph特性。一、先搞清楚:什么是 CANN 运行时CANN 运行时(Runtime)是昇腾软件栈里“承上启下”的一层:向上接 PyTorch、MindSpore、推理框架,向下驱

文章图片
#人工智能#昇腾#CANN +2
CANN图模式 --ACL Graph运行时简介

大模型推理越来越快,很多人第一反应是“芯片变强了”。但真正懂部署的开发者都知道——有时候 NPU 不是在算,是在等 Host 下发指令。今天我们就拆一个最容易被忽略、但收益极高的点:CANN Runtime 的ACL Graph特性。一、先搞清楚:什么是 CANN 运行时CANN 运行时(Runtime)是昇腾软件栈里“承上启下”的一层:向上接 PyTorch、MindSpore、推理框架,向下驱

文章图片
#人工智能#昇腾#CANN +2
CANN图模式 --ACL Graph运行时简介

大模型推理越来越快,很多人第一反应是“芯片变强了”。但真正懂部署的开发者都知道——有时候 NPU 不是在算,是在等 Host 下发指令。今天我们就拆一个最容易被忽略、但收益极高的点:CANN Runtime 的ACL Graph特性。一、先搞清楚:什么是 CANN 运行时CANN 运行时(Runtime)是昇腾软件栈里“承上启下”的一层:向上接 PyTorch、MindSpore、推理框架,向下驱

文章图片
#人工智能#昇腾#CANN +2
基于CANNBot PyPTO Pro的DeepSeek-V4.1融合算子Agent生成实践

在本次 DeepSeek-V4.1 高性能算子生成实践中,基于CANNBot PyPTO Pro Agent强大的算子生成能力,结合PyPTO Pro简洁易用的 Python 编程接口、灵活高效的计算表达以及对 AI Agent 的良好适配,实现了算子分析、代码生成、精度验证和性能调优的全流程协同,提供了一种更加高效、智能的 NPU 算子开发方式。通过CANNBot Agent智能体选择PyPTO

文章图片
#人工智能#CANN开源#CANN +2
CANN挑战赛决赛赛题解析

CANN挑战赛西南、西北、京津东北三大赛区赛事解读专场直播,我们将为大家深度解析各赛区题目的背景与核心内容,助你快速上手新赛题,同时详细介绍本次挑战赛的报名方式、代码提交流程等关键信息,确保你顺利完赛

文章图片
#CANN#CANN开源
CANNBot PyPTO 算子编程智能体的使用,从一段 Prompt 开始

融合算子的难点不在单个环节,而在数学语义、内存布局、低精度误差、多核同步与性能开销彼此牵制,改一处往往牵动另一处。CANNBot 的 PyPTO Tensor Agent 与 PyPTO Pro Agent 把这些环节收进同一条可推进、可检查、可复验的流程:先对齐需求与验收判据,再准备独立的 Golden 与测试环境,之后才进入编码、测试与调优。无论从哪个入口进入,最终交付都按同一套标准验收,源码

文章图片
#CANN#昇腾#人工智能 +2
VF 融合:编译器如何把 Softmax 跑快

这个"中间结果不落回 UB"的想法,在 A2/A3 上其实很难实现。A2/A3 是 memory-based 的。Vector 单元算完一轮,结果没有别的地方可去,只能回 UB。两个向量计算之间的数据交换成本天然就高,想做深层融合,没有硬件支撑。Ascend 950 在这条路径上插进来一层A2/A3 与 Ascend 950 的向量数据通路两边的结构完全对称,差别只在第三层和第五层。从 memor

文章图片
#算法#人工智能#CANN +2
VF 融合:编译器如何把 Softmax 跑快

这个"中间结果不落回 UB"的想法,在 A2/A3 上其实很难实现。A2/A3 是 memory-based 的。Vector 单元算完一轮,结果没有别的地方可去,只能回 UB。两个向量计算之间的数据交换成本天然就高,想做深层融合,没有硬件支撑。Ascend 950 在这条路径上插进来一层A2/A3 与 Ascend 950 的向量数据通路两边的结构完全对称,差别只在第三层和第五层。从 memor

文章图片
#算法#人工智能#CANN +2
    共 1047 条
  • 1
  • 2
  • 3
  • 105
  • 请选择