第一篇——什么是torch.fx今天聊一下比较重要的torch.fx，也趁着这次机会把之前的torch.fx笔记整理下，笔记大概拆成三份，分别对应三篇：什么是torch.fx基于torch.fx做量化基于torch.fx量化部署到TensorRT本文对应第一篇，主要介绍torch.fx和基本使用方法。废话不多说，直接开始吧！什么是Torch.FXtorch.fx是Pytorch 1.8出来的一套工

triton作为一个NVIDIA开源的商用级别的服务框架，个人认为很好用而且很稳定**，API接口的变化也不大，我从2020年的20.06切换到2022年的22.06，两个大版本切换，一些涉及到代码的工程变动很少，稍微修改修改就可以直接复用，很方便。> 本系列讲解的版本也是基于22.06。

triton作为一个NVIDIA开源的商用级别的服务框架，个人认为很好用而且很稳定**，API接口的变化也不大，我从2020年的20.06切换到2022年的22.06，两个大版本切换，一些涉及到代码的工程变动很少，稍微修改修改就可以直接复用，很方便。> 本系列讲解的版本也是基于22.06。

Hello我是老潘，好久不见各位。最近在复盘今年上半年做的一些事情，不管是训练模型、部署模型搭建服务，还是写一些组件代码，零零散散是有一些产出。虽然有了一点点成果，但仍觉着缺点什么。作为深度学习算法工程师，训练模型和部署模型是最基本的要求，每天都在重复着这个工作，但偶尔静下心来想一想，还是有很多事情需要做的：模型的结构，因为上线业务需要，更趋向于稳定有经验的，未探索一些新的结构模型的加速仍然不够，

问题的开始前些天尝试使用TensorRT转换一个模型，模型用TensorFlow训练，包含LSTM+Transform+CNN，是一个典型的时序结构模型，包含编码解码结构，暂称为debug.onnx吧。这个debug.onnx使用tf2onnx导出，导出后tf2onnx会自动对这个onnx做一些优化，例如常量折叠、算子融合等等一些常规操作，一般来说这些操作不会影响网络结构(也会出现影响的情况！之后

python对缩进具有严格的要求稍微一步留神就会发生unindent does not match any outer indentation level的错误，发生错误的原因一般有三点：1、代码前后缩进量不一致可以看到def前面有红色小波浪线，说明在这里出现了缩进错误，显然def前面的注释缩进量和def不一致（一个为2一个为4），改成一致就好了2、代码前后缩进符号不一致上图中两个函数的定义前面缩

小博主拍了拍你的脑袋发了一个神秘链接：oldpan.me爽啊。前一阵子忍不住剁手买了M1芯片的mac mini，为了弥补自己的内疚感就卖了自己的旧的mbp2017款。数据也完全迁移到了新机器上，之前的工作也就由mbp2017彻底换成mac mini了，要换就换彻底点，不要给自己了留后路，哼。为什么买mini而不是macbook系列，当然是为了减少一下尝鲜的成本，mini对于有显示器有键盘的童鞋来说

小博主拍了拍你的脑袋发了一个神秘链接：oldpan.me爽啊。前一阵子忍不住剁手买了M1芯片的mac mini，为了弥补自己的内疚感就卖了自己的旧的mbp2017款。数据也完全迁移到了新机器上，之前的工作也就由mbp2017彻底换成mac mini了，要换就换彻底点，不要给自己了留后路，哼。为什么买mini而不是macbook系列，当然是为了减少一下尝鲜的成本，mini对于有显示器有键盘的童鞋来说

小博主拍了拍你的脑袋发了一个神秘链接：oldpan.me爽啊。前一阵子忍不住剁手买了M1芯片的mac mini，为了弥补自己的内疚感就卖了自己的旧的mbp2017款。数据也完全迁移到了新机器上，之前的工作也就由mbp2017彻底换成mac mini了，要换就换彻底点，不要给自己了留后路，哼。为什么买mini而不是macbook系列，当然是为了减少一下尝鲜的成本，mini对于有显示器有键盘的童鞋来说

开篇老潘刚开始接触神经网络量化是2年前那会，用NCNN和TVM在树莓派上部署一个简单的SSD网络。那个时候使用的量化脚本是参考于TensorRT和NCNN的PTQ量化（训练后量化）模式，使用交叉熵的方式对模型进行量化，最终在树莓派3B+上部署一个简单的分类模型（识别剪刀石头布静态手势）。这是那会的一篇文章，略显稚嫩哈哈：一步一步解读神经网络编译器TVM(二)——利用TVM完成C++端的部署转眼间过