挖掘AI算力潜力：新一代Profiling工具指南 一、背景 在大模型的开发过程中，性能调优是开发过程的重要一环，Profiling工具能够精准地采集芯片在运行过程中的各项性能数据，包括算子调度、算子执行、内存指标等，通过对这些数据的深入分析，开发者可以快速定位网络和算子的性能瓶颈所在，从而有针对性地进行优化。 二、Profiling工具全面升级 下一代AI处理器架构引入了新的计算特性和加速器单元

 获取往期直播材料：https://gitcode.com/cann/community/tree/master/events/meetup                                   &nbsp

B站/微信视频号搜索【昇腾CANN】观看直播，期待你的观看~ 点击B站直播预约链接：https://www.bilibili.com/opus/1178499362006761480 点击连接获取往期直播材料：https://gitcode.com/cann/community/tree/master/events  

Profiling是开发者进行NPU性能调优的重要工具，本次课程向开发者介绍下一代芯片面向整网和算子性能调优提供的新特性。

作为PyPTO系列的最后一讲，本次分享聚焦大模型的融合算子的开发全流程;从算子设计，到算子开发，再到性能优化，展现PyPTO的实操风采。

PyPTO Toolkit是一款PyPTO框架全流程辅助工具，提供包括编译、运行时状态的可视化、算子开发作业流的作业能力，使能开发者快速建立对PyPTO框架的理解，提升算子开发和调试调优效率。

B站/微信视频号搜索【昇腾CANN】观看直播，期待你的观看~ 点击连接获取往期直播材料：https://gitcode.com/cann/community/tree/master/events  

PyPTO 是一种简化算子和模型开发过程的同时兼顾高性能的编程框架，通过将高层次的Tensor 计算图转成自动并行的 Tile 的计算来获得高效代码。

与此同时，控制器会执行节点重新调度，用健康的节点替换故障节点。通过对正常节点和故障节点分别应用不同的策略，将重新创建的节点数量限制在仅遇到错误的节点，并减少了不必要的容器重启，这使得重启过程与训练集群的规模无关，并且更快。当优化器步骤过程中发生故障时，控制器会从除故障节点上的设备之外的所有正常设备接收step=i+1，此时正常节点上所有过程的优化器步骤结束，可以发出“停止”、“清理”和“重置”指令

HIXL秉持极简易用的设计原则，具备高度可集成性，并积极融入主流生态社区。此次 HIXL 顺利与 Mooncake、vLLM 实现集成，正是 CANN 开源价值的具体体现：开源发布后，借助社区的力量，对接业界常用的KV池化和传输库Mooncake，进一步打通了 vLLM + Mooncake + HIXL 的技术链路，使该方案成为 Ascend 上池化方案的首选。并以此为依托，和用户完成联创将大模