2025年底DeepSeek V3发布炸场，几乎为业界之后的LLM优化方向定了调，尤其是大规模推理优化方面。在DeepSeek V3问世快一年之际，这里简单整理总结一下业界与之相关的推理优化技术。

深度学习相较传统机器学习模型，对算力有更高的要求。尤其是随着深度学习的飞速发展，模型体量也不断增长。于是，前几年，我们看到了芯片行业的百家争鸣和性能指标的快速提升。正当大家觉得算力问题已经得到较大程度的缓解时，大语言模型（LLM, Large language model）的兴起又带来了前所未有的挑战。

DeepSeek V3的网络结构基本沿用了DeepSeek V2，采用了MLA和DeepSeekMoE两大特性。本文主要涉及MLA（Multi-Head Latent Attention）。抛开维度变化，DeepSeek V3与V2在MLA结构上差别不大。详细请参见官方论文《DeepSeek-V3 Technical Report》和《DeepSeek-V2: A Strong, Economic

2025年底DeepSeek V3发布炸场，几乎为业界之后的LLM优化方向定了调，尤其是大规模推理优化方面。在DeepSeek V3问世快一年之际，这里简单整理总结一下业界与之相关的推理优化技术。

前言机器学习方法的复现性一直都是比较另人头痛的问题，因为很多因素都可能会影响最后的效果。而强化学习还涉及与环境交互带来的随机性，情况更加严重。可能类似的环境配置，跑上几遍结果还不太一样。2017年McGill University和Microsoft的论文《Deep Reinforcement Learning that Matters》中研究了强化学习的可复现性，指出像随机种子、环境因素、超参以

介绍AutoML这个topic在机器学习领域越来越火，新的研究成果也是层出不穷。在网络架构(NAS)，模型压缩(AMC)，数据增强(AutoAugment)，优化器设计(Neural Optimizer Search)，平台相关优化(AutoTVM)等领域，我们都可以看到相应的研究成果表明机器学习可以达到比人肉调参更优的结果。自动化方法正在逐步替代调参工。相信不久的将来，我们面对一个场景，只要喂.

前面的第一篇与第二篇分别介绍了背景与一些相关概念，这第三篇我们开始切入正题，看下现代深度学习编译器中的自动调优（Auto-tuning）方法。Schedule的自动生成，一类方法是基于解析模型（Analytical model），然后使用一些经验公式来产生解；另一类方法是多面体编译技术。它将循环嵌套迭代空间建模为多面体，然后用如整数规划等数学方法求出能提升局部性与并行性的循环变换；还有一类就是经验

前一篇《(一)大话深度学习编译器中的自动调优·前言》介绍了深度学习编译器及早期算子自动调优的背景，在接下去更深入地聊自动调优具体方法之前，在这篇中想先聊下两个与之密切相关的重要基础概念：领域专用语言（Domain-specific Language，DSL）与中间表示（Intermediate Representation，IR）。DSL与IR在整个深度学习编译器中的位置大体如下

Triton是OpenAI的开源项目。官网https://openai.com/index/triton/。Github地址https://github.com/triton-lang/triton。自问世来，一直以来都受到业界关注，而且近年来热度似乎有了明显提升。可以看到将Triton用于LLM的例子越来越多。各种流行的LLM框架，如vLLM，SGLang和TRT-LLM中也都有了Triton的

实际使用时，我们会碰到各种网络变体，各种配置或各种跑法，另外还可能需要回答一些更细节具体的问题，比如KV Cache节省了多少计算量，需要额外占用多少memory，把某层分布式计算需要增加多少通信量，或者MQA/GQA相比传统的MHA可以节省多少memory等等。在模型的优化时，我们经常需要一些信息，诸如特定配置的模型计算需要多少compute与memory资源，计算与数据传输大概需要多长时间等。