昇腾DynamicQuant算子可以实现动态逐 token 量化，将浮点张量（FP16/BF16）量化为低精度整数（INT8/INT4）或浮点8位（FP8），同时输出每行的量化 scale（和可选的 offset）。本文通过深入分析算子实现，识别出流水线同步开销和单行处理粒度是性能瓶颈，并针对性地提出了向量指令优化与多行批量处理方案。DynamicQuant 实现动态逐 token 量化。

昇腾DynamicQuant算子可以实现动态逐 token 量化，将浮点张量（FP16/BF16）量化为低精度整数（INT8/INT4）或浮点8位（FP8），同时输出每行的量化 scale（和可选的 offset）。本文通过深入分析算子实现，识别出流水线同步开销和单行处理粒度是性能瓶颈，并针对性地提出了向量指令优化与多行批量处理方案。DynamicQuant 实现动态逐 token 量化。