借着热点，简单聊聊，作为一个只搞过CV部署的算法工程师，在最近LLM逐渐改变生活的大背景下，猛然意识到LLM部署也是很重要的。大模型很火，而且确实有用（很多垂类场景可以针对去训练），并且和Vision结合的大模型也逐渐多了起来。所以怎么部署大模型是一个，很多公司也在紧锣密鼓的搞着。目前效果最好讨论最多的开源实现就是LLAMA，所以我这里讨论的也是基于。基于LLAMA的finetune模型有很多，比

前言简单尝试了下paddleOCR的最新版(2021)，只需要几行命令就可以很快地在本地部署一个OCR识别系统。如果不想看下文，依次执行以下命令即可搭建(注意：仅在linux系统中测试，其他系统也可参照)：# 有anaconda系统可以跳过sh Anaconda3-2020.03-Linux-x86_64.shconda config --add channels https://mirrors.

第一篇——什么是torch.fx今天聊一下比较重要的torch.fx，也趁着这次机会把之前的torch.fx笔记整理下，笔记大概拆成三份，分别对应三篇：什么是torch.fx基于torch.fx做量化基于torch.fx量化部署到TensorRT本文对应第一篇，主要介绍torch.fx和基本使用方法。废话不多说，直接开始吧！什么是Torch.FXtorch.fx是Pytorch 1.8出来的一套工

triton作为一个NVIDIA开源的商用级别的服务框架，个人认为很好用而且很稳定**，API接口的变化也不大，我从2020年的20.06切换到2022年的22.06，两个大版本切换，一些涉及到代码的工程变动很少，稍微修改修改就可以直接复用，很方便。> 本系列讲解的版本也是基于22.06。

triton作为一个NVIDIA开源的商用级别的服务框架，个人认为很好用而且很稳定**，API接口的变化也不大，我从2020年的20.06切换到2022年的22.06，两个大版本切换，一些涉及到代码的工程变动很少，稍微修改修改就可以直接复用，很方便。> 本系列讲解的版本也是基于22.06。

Hello我是老潘，好久不见各位。最近在复盘今年上半年做的一些事情，不管是训练模型、部署模型搭建服务，还是写一些组件代码，零零散散是有一些产出。虽然有了一点点成果，但仍觉着缺点什么。作为深度学习算法工程师，训练模型和部署模型是最基本的要求，每天都在重复着这个工作，但偶尔静下心来想一想，还是有很多事情需要做的：模型的结构，因为上线业务需要，更趋向于稳定有经验的，未探索一些新的结构模型的加速仍然不够，

问题的开始前些天尝试使用TensorRT转换一个模型，模型用TensorFlow训练，包含LSTM+Transform+CNN，是一个典型的时序结构模型，包含编码解码结构，暂称为debug.onnx吧。这个debug.onnx使用tf2onnx导出，导出后tf2onnx会自动对这个onnx做一些优化，例如常量折叠、算子融合等等一些常规操作，一般来说这些操作不会影响网络结构(也会出现影响的情况！之后

python对缩进具有严格的要求稍微一步留神就会发生unindent does not match any outer indentation level的错误，发生错误的原因一般有三点：1、代码前后缩进量不一致可以看到def前面有红色小波浪线，说明在这里出现了缩进错误，显然def前面的注释缩进量和def不一致（一个为2一个为4），改成一致就好了2、代码前后缩进符号不一致上图中两个函数的定义前面缩

小博主拍了拍你的脑袋发了一个神秘链接：oldpan.me爽啊。前一阵子忍不住剁手买了M1芯片的mac mini，为了弥补自己的内疚感就卖了自己的旧的mbp2017款。数据也完全迁移到了新机器上，之前的工作也就由mbp2017彻底换成mac mini了，要换就换彻底点，不要给自己了留后路，哼。为什么买mini而不是macbook系列，当然是为了减少一下尝鲜的成本，mini对于有显示器有键盘的童鞋来说

小博主拍了拍你的脑袋发了一个神秘链接：oldpan.me爽啊。前一阵子忍不住剁手买了M1芯片的mac mini，为了弥补自己的内疚感就卖了自己的旧的mbp2017款。数据也完全迁移到了新机器上，之前的工作也就由mbp2017彻底换成mac mini了，要换就换彻底点，不要给自己了留后路，哼。为什么买mini而不是macbook系列，当然是为了减少一下尝鲜的成本，mini对于有显示器有键盘的童鞋来说