昇腾社区-官网丨昇腾万里 让智能无所不及开发者主页-昇腾社区。

昇腾社区-官网丨昇腾万里 让智能无所不及开发者主页-昇腾社区。

在NPU/GPU上进行模型训练计算，为了充分使用计算资源，一般采用批量数据处理方式，因此一般情况下为提升整体吞吐率，batch值会设置的比较大，常见的batch数为256/512，这样一来，对数据预处理处理速度要求就会比较高。大家是不是对这些接口功能很熟悉？昇腾CANN内置的预处理算子是比较丰富的，后续在继续丰富torchvision预处理算子库的同时，也会进一步提升预处理算子的下发和执行流程，让

昇腾CANN借助根技术创新对大模型训练过程进行了系统级的优化加速，通过合理的分布式切分策略和内存优化策略，使大模型放得下；通过计算层、调度层和通信域的优化，使大模型跑得快，未来CANN也将持续研究、不断突破，以大模型赋能应用，加速千行万业智能化转型。

pyACL（Python Ascend Computing Language）是一套在AscendCL的基础上使用CPython封装得到的Python API库，使用户可以通过Python进行昇腾AI处理器的运行管理、资源管理等，实现在昇腾CANN平台上进行深度学习推理计算、图形图像预处理、单算子加速计算等能力。了解了这些大步骤后，下面我们再展开来说明开发应用具体涉及哪些关键功能？各功能又使用哪些

总而言之，在大模型技术日新月异不断迭代的时代背景下，昇腾CANN将会持续深耕大模型优化&加速技术，比如继续探索面向在线服务的调度优化，缩短服务时延；基于计算图的weight预取与Cache驻留优化，提升访存性能；亲和FlashAttention业界最新融合算子，提升计算性能；支持更丰富的量化计算组合、模型稀疏，降低内存占用...随着大模型规模化商业落地，以昇腾CANN为核心的昇腾AI基础软硬件平台

深度学习算法由一个个计算单元组成，我们称之为算子，在AI网络模型中，算子对应层或节点的计算逻辑，例如卷积层是一个算子、全连接层中的权值求和过程也是一个算子，它们是完成高性能AI计算的关键。Ascend C还配套丰富的学习资料，包括教程文档、交流社区、案例代码等，这些资源将帮助您更好地辅助课程内容消化、理解Ascend C编程语言的各种概念和技巧，为您的自主学习提供便利。，助您进一步提升开发技能，全

昇腾社区-官网丨昇腾万里 让智能无所不及开发者主页-昇腾社区。

Ascend C提供孪生调试方法，即CPU域模拟NPU域的行为，相同的算子代码可以在CPU域调试精度，NPU域调试性能。孪生调试的整体方案如下：开发者通过调用Ascend C类库编写Ascend C算子kernel侧源码，kernel侧源码通过通用的GCC编译器进行编译，编译生成通用的CPU域的二进制，可以通过gdb通用调试工具等调试手段进行调试；kernel侧源码通过毕昇编译器进行编译，编译生成