毫无疑问，AI是当下最热的话题之一，而大模型又是当前AI的主角。几年前，正当深度学习进入瓶颈时，以GPT为首的LLM的横空出世让之似乎又找到了“第二增长曲线”。当模型规模大到一定程度时，它所表现出来的涌现能力（Emergent ability）是之前在小模型中所不曾见过的。这种大模型所特有的推理、计算等能力给我们带来了无穷的想象空间。但是，它的代价是模型和以往模型相比增大了成百上千倍。要玩大模型十

首先搭建基本环境，假设已经有Python运行环境。然后需要装上一些通用的基本库，如numpy, scipy用以数值计算，pandas用以数据分析，matplotlib/Bokeh/Seaborn用来数据可视化。再按需装上数据获取的库，如Tushare（http://pythonhosted.org/tushare/），Quandl（https://www.quandl.com/）等。网上还有很多可

Fuchsia是Google主要为IoT、手机及个人电脑开发的下一代操作系统。它与之前的Android、Chrome OS、Brillo等操作系统相比，一个显著的特点是它没有基于Linux内核，而是采用了微内核的Magenta（基于Little kernel）。Linux经过二、三十年的发展，今天无论是嵌入式设备还是分布式服务器，都有它的身影。但它起源于desktop时代，经过这么多年的活跃开发今

介绍AutoML这个topic在机器学习领域越来越火，新的研究成果也是层出不穷。在网络架构(NAS)，模型压缩(AMC)，数据增强(AutoAugment)，优化器设计(Neural Optimizer Search)，平台相关优化(AutoTVM)等领域，我们都可以看到相应的研究成果表明机器学习可以达到比人肉调参更优的结果。自动化方法正在逐步替代调参工。相信不久的将来，我们面对一个场景，只要喂.

前面的第一篇与第二篇分别介绍了背景与一些相关概念，这第三篇我们开始切入正题，看下现代深度学习编译器中的自动调优（Auto-tuning）方法。Schedule的自动生成，一类方法是基于解析模型（Analytical model），然后使用一些经验公式来产生解；另一类方法是多面体编译技术。它将循环嵌套迭代空间建模为多面体，然后用如整数规划等数学方法求出能提升局部性与并行性的循环变换；还有一类就是经验

前一篇《(一)大话深度学习编译器中的自动调优·前言》介绍了深度学习编译器及早期算子自动调优的背景，在接下去更深入地聊自动调优具体方法之前，在这篇中想先聊下两个与之密切相关的重要基础概念：领域专用语言（Domain-specific Language，DSL）与中间表示（Intermediate Representation，IR）。DSL与IR在整个深度学习编译器中的位置大体如下

深度学习计算框架中的自动化调优，尤其是高性能算子自动生成是这几年非常火的话题。这个系列的文章主要是对之前看到的零碎信息做个简单的总结。尽管，由于有些方向比较艰深，笔者懂得十分浅薄，文章在很多方面也只能蜻蜓点水。这是第一篇，权当是个引子。

前面的第一篇与第二篇分别介绍了背景与一些相关概念，这第三篇我们开始切入正题，看下现代深度学习编译器中的自动调优（Auto-tuning）方法。Schedule的自动生成，一类方法是基于解析模型（Analytical model），然后使用一些经验公式来产生解；另一类方法是多面体编译技术。它将循环嵌套迭代空间建模为多面体，然后用如整数规划等数学方法求出能提升局部性与并行性的循环变换；还有一类就是经验

内存管理是AI计算中非常重要的一部分。我们希望模型计算时占用内存尽可能小，这样我们训练或推理时就可以用更大的batch size使其尽快收敛，或者提高吞吐率。又或者让我们可以使用参数更多、或更复杂的模型从而达到更好的准确率。由于现代深度学习模型大多在GPU上运行，而GPU的显存相比CPU小得多，因此我们这里主要关注的是GPU memory。首先看下我们需要重点关注哪些GPU memory。

我们知道，GPU擅长做并行计算，像element-wise操作。GEMM, Conv这种不仅结果张量中元素的计算相互不依赖，而且输入数据还会被反复利用的更能体现GPU的优势。但AI模型计算或者HPC中还有一类操作由于元素间有数据依赖，会给并行化带来挑战，那就是reduce操作。它代表一类操作，即将多个元素通过某种特定的运算进行归约。其应用很广泛，很多其它算法也以它为基础，如scan, histog