本文记录了多卡部署72B通义千问过程，将推理速度提到10token/s水平。

这是一篇对语音识别中的一种热门技术——GMM/DNN-HMM混合系统原理的透彻介绍。当前网上对HMM类语音识别模型的讲解要么过于简单缺乏深度，要么知识点过于细化零碎分散。而本文旨在为语音识别方面知识储备较少的读者，从头开始深入解读GMM-HMM模型和DNN-HMM模型。讨论了语音识别里的两个重要概念：声学模型和语言模型，介绍了语音和文本的数据预处理技术，GMM-HMM模型的训练、预测方法和统计学意

棋力天天象棋业9-1的Github/Gitee开源中国象棋AI程序。

下面是Hugging Face transformer版的千问2，token生成速度在15个每秒左右，但还不够快，在这篇文章里我们用vLLM将速度翻倍，达到38tokens/s。做了Qwen1的加速，其中关于Auto-GPTQ的安装问题在Qwen2中依然适用。可以看到，短上下文的处理速度达到了恐怖的38.7tokens/s，与官方给出的A100速度基本持平。相比于开头的transformer版本，

本文记录了多卡部署72B通义千问过程，将推理速度提到10token/s水平。

下面是Hugging Face transformer版的千问2，token生成速度在15个每秒左右，但还不够快，在这篇文章里我们用vLLM将速度翻倍，达到38tokens/s。做了Qwen1的加速，其中关于Auto-GPTQ的安装问题在Qwen2中依然适用。可以看到，短上下文的处理速度达到了恐怖的38.7tokens/s，与官方给出的A100速度基本持平。相比于开头的transformer版本，

多分类任务中使用shap.summary_plot展示各个特征对模型输出类别的重要性。

下面是Hugging Face transformer版的千问2，token生成速度在15个每秒左右，但还不够快，在这篇文章里我们用vLLM将速度翻倍，达到38tokens/s。做了Qwen1的加速，其中关于Auto-GPTQ的安装问题在Qwen2中依然适用。可以看到，短上下文的处理速度达到了恐怖的38.7tokens/s，与官方给出的A100速度基本持平。相比于开头的transformer版本，

棋力天天象棋业9-1的Github/Gitee开源中国象棋AI程序。

本文提供两台windows电脑在同一LAN下的投屏方案。