昇腾社区-官网丨昇腾万里 让智能无所不及开发者主页-昇腾社区。

京城五月时，昇腾社区诚邀您报名参加#鲲鹏昇腾开发者大会 2024，成功报名可参与定制周边抽奖！速来！

数智未来 因你而来 | 昇腾AI创新大赛2024全新启航。25大赛区，旗舰赛道，全新子赛事，千万奖金池，等你来挑战！

探索AI新境界！昇腾AI原生创新算子挑战赛正式启动！

昇腾社区-官网丨昇腾万里 让智能无所不及开发者主页-昇腾社区。

昇腾CANN借助根技术创新对大模型训练过程进行了系统级的优化加速，通过合理的分布式切分策略和内存优化策略，使大模型放得下；通过计算层、调度层和通信域的优化，使大模型跑得快，未来CANN也将持续研究、不断突破，以大模型赋能应用，加速千行万业智能化转型。

深度学习算法由一个个计算单元组成，我们称之为算子，在AI网络模型中，算子对应层或节点的计算逻辑，例如卷积层是一个算子、全连接层中的权值求和过程也是一个算子，它们是完成高性能AI计算的关键。Ascend C还配套丰富的学习资料，包括教程文档、交流社区、案例代码等，这些资源将帮助您更好地辅助课程内容消化、理解Ascend C编程语言的各种概念和技巧，为您的自主学习提供便利。，助您进一步提升开发技能，全

在NPU/GPU上进行模型训练计算，为了充分使用计算资源，一般采用批量数据处理方式，因此一般情况下为提升整体吞吐率，batch值会设置的比较大，常见的batch数为256/512，这样一来，对数据预处理处理速度要求就会比较高。大家是不是对这些接口功能很熟悉？昇腾CANN内置的预处理算子是比较丰富的，后续在继续丰富torchvision预处理算子库的同时，也会进一步提升预处理算子的下发和执行流程，让

总而言之，在大模型技术日新月异不断迭代的时代背景下，昇腾CANN将会持续深耕大模型优化&加速技术，比如继续探索面向在线服务的调度优化，缩短服务时延；基于计算图的weight预取与Cache驻留优化，提升访存性能；亲和FlashAttention业界最新融合算子，提升计算性能；支持更丰富的量化计算组合、模型稀疏，降低内存占用...随着大模型规模化商业落地，以昇腾CANN为核心的昇腾AI基础软硬件平台