本文记录Vector融合算子 RmsNormQuant 在昇腾Ascend950上的性能优化过程。RmsNormQuant 是 LLM 推理中 RmsNorm 归一化与 Int8 量化的融合算子，通过消除中间结果的 GM 写回+读入，在访存效率上优于分离执行。优化从最基础的公式直译实现出发，逐步识别并消除每一层性能瓶颈，最终达成 157 倍的性能加速。Vector 算子的性能建模方法——如何通过

本文记录Vector融合算子 RmsNormQuant 在昇腾Ascend950上的性能优化过程。RmsNormQuant 是 LLM 推理中 RmsNorm 归一化与 Int8 量化的融合算子，通过消除中间结果的 GM 写回+读入，在访存效率上优于分离执行。优化从最基础的公式直译实现出发，逐步识别并消除每一层性能瓶颈，最终达成 157 倍的性能加速。Vector 算子的性能建模方法——如何通过

本文记录Vector融合算子 RmsNormQuant 在昇腾Ascend950上的性能优化过程。RmsNormQuant 是 LLM 推理中 RmsNorm 归一化与 Int8 量化的融合算子，通过消除中间结果的 GM 写回+读入，在访存效率上优于分离执行。优化从最基础的公式直译实现出发，逐步识别并消除每一层性能瓶颈，最终达成 157 倍的性能加速。Vector 算子的性能建模方法——如何通过

cann-samples：https://gitcode.com/cann/cann-sample计算公式ci,j=∑g=0ceil(K/G)−1(scaleAi,g⋅scaleBg,j⋅∑k′=0G−1(ai,gG+k′⋅bgG+k′,j))c_{i, j} = \sum^{ceil(K/G)-1}_{g=0}\left(scaleA_{i, g} \cdot scaleB_{g, j} \cd

cann-samples：https://gitcode.com/cann/cann-sample计算公式ci,j=∑g=0ceil(K/G)−1(scaleAi,g⋅scaleBg,j⋅∑k′=0G−1(ai,gG+k′⋅bgG+k′,j))c_{i, j} = \sum^{ceil(K/G)-1}_{g=0}\left(scaleA_{i, g} \cdot scaleB_{g, j} \cd

在电商行业中，推荐模型可以将合适的商品在合适的时间推送给最可能对其感兴趣的人群，从而大幅提升用户体验和平台转化率。某电商平台便使用了多个基于TensorFlow框架的传统推荐模型，这些模型存在大量的Add、ReLU、LayerNorm等轻量级算子，执行频繁，不仅调度开销高，还会频繁搬运算子的输入输出，极大降低了模型的执行效率。采用融合算子的方式可以有效优化以上瓶颈，将这些小算子融合成一个大算子，既

在电商行业中，推荐模型可以将合适的商品在合适的时间推送给最可能对其感兴趣的人群，从而大幅提升用户体验和平台转化率。某电商平台便使用了多个基于TensorFlow框架的传统推荐模型，这些模型存在大量的Add、ReLU、LayerNorm等轻量级算子，执行频繁，不仅调度开销高，还会频繁搬运算子的输入输出，极大降低了模型的执行效率。采用融合算子的方式可以有效优化以上瓶颈，将这些小算子融合成一个大算子，既

TensorFlow×AutoFuse实现算子自动融合，提升推荐模型48%的性能！ 背景介绍 在电商行业中，推荐模型可以将合适的商品在合适的时间推送给最可能对其感兴趣的人群，从而大幅提升用户体验和平台转化率。某电商平台便使用了多个基于TensorFlow框架的传统推荐模型，这些模型存在大量的Add、ReLU、LayerNorm等轻量级算子，执行频繁，不仅调度开销高，还会频繁搬运算子的输入输出，极大

AI大模型和Harness 工程快速发展的今天，模型+Agent的组合使得复杂系统级代码开发任务门槛进一步降低，昇腾CANN作为算力基础设施的一部分，也迎来了从古法编程到AI编程的关键转折，CANN领域中的算子开发效率出现了数量级的提升，但选择什么样的模型，使用哪个Agent能够产出高质量的算子，成了开发经常遇到的问题。数据层是整个评测体系的基础，CANN-Bench通过“算子定义+测试用例+真值

AI大模型和Harness 工程快速发展的今天，模型+Agent的组合使得复杂系统级代码开发任务门槛进一步降低，昇腾CANN作为算力基础设施的一部分，也迎来了从古法编程到AI编程的关键转折，CANN领域中的算子开发效率出现了数量级的提升，但选择什么样的模型，使用哪个Agent能够产出高质量的算子，成了开发经常遇到的问题。数据层是整个评测体系的基础，CANN-Bench通过“算子定义+测试用例+真值