深度学习算法模型的几个概念整理----模型量化、校准、模型蒸馏、算子、算子融合。

cudart、cublas、cutlass、triton、marlin、aiter、deepgemm、llm-compressor名词解释以及和vllm代码的关系

大模型推理引擎vLLM(20):MOE层相关代码流程梳理_权重重排、量化、GEMM计算、EP

/usr/include/c++/11/bits/std_function.h:530:146: error: parameter packs not expanded with ‘...’:

这篇博客首先参考了我自己之前的两篇博客。

出现上述错误的原因是安装了高版本的GCC之后没有更新软连接，只需要查找安装GCC时生成的最新动态库，然后添加软连接即可。然后我看了下/usr/lib64/libstdc++.so.6是链接到哪里去了，这个问题其实我之前遇到过，之前的博客笔记。然后看了下g++版本是8.5.0。在某项目中遇到下面的错误，

在使用vscode阅读代码时，提示跳转不到函数定义，查看c/c++扩展插件也已经安装了，解决方式是先卸载掉C/C++扩展插件，然后重新安装即可解决。

目录方法一：git clone --recursive方法二：git submodule update --init有时github上的工程可能会包含一些子模块，例如这时候如果你只是用下面的命令下载，​git clonehttps://github.com/Cambricon/CNStream下载完之后会发现easydk文件夹是空的，有两种方法下载子模块方法一：git clone --recurs

在vscode中，我鼠标点一下当前行位置，实际光标却在上一行，找不到原因，最终我点一下vscode窗口最大化按钮让窗口还原，然后再点一下最大化窗口让窗口最大，问题解决。。。。

ctrl + shift + F7：把某个单词高亮()， ESC：退出高亮。