1. 为什么要在Windows纯CPU环境部署ChatGLM？

最近大语言模型越来越火，但很多朋友都被显卡门槛劝退了。其实ChatGLM-6B作为开源模型，经过优化后完全可以在普通电脑上运行。我去年用一台老旧的Xeon服务器测试时，发现即使没有独立显卡，只要内存足够也能流畅对话。

这种部署方式特别适合三类人群：学生党用校园电脑尝鲜AI、企业内网环境下的快速部署测试、以及想低成本学习大模型技术的开发者。实测下来，CPU推理虽然比GPU慢3-5倍，但对于学习研究和简单应用完全够用。最关键的是，这套方案能帮你省下动辄上万的显卡成本。

2. 硬件准备与避坑指南

2.1 最低配置要求

根据我的踩坑经验，Windows系统下需要特别注意这些硬件指标：

• 内存：官方建议32GB，实测26GB是底线。有次我用24GB内存的笔记本测试，直接导致系统卡死崩溃
• CPU：建议Intel四核以上，主频2.4GHz起步。AMD处理器需要特别注意兼容性问题
• 存储：至少需要15GB空间存放模型文件，推荐SSD提升加载速度

注意：如果内存不足，可以尝试量化后的4bit模型，但推理质量会明显下降

2.2 虚拟内存设置技巧

对于内存吃紧的设备，这里分享个实用技巧：手动调整虚拟内存。右击"此电脑"→属性→高级系统设置→性能设置→高级选项卡，把虚拟内存初始值设为物理内存的1.5倍，最大值设为3倍。我帮朋友在一台16GB内存的Surface Pro上成功运行，就是靠这个设置撑过来的。

3. 环境配置步步通

3.1 Anaconda安装优化

推荐使用阿里云镜像下载Anaconda3-2022.05版本（Python3.9），这个组合最稳定。安装时务必勾选"Add to PATH"，否则后面会报各种命令找不到的错误。安装完成后，在cmd输入：

conda create -n chatglm python=3.9
conda activate chatglm

3.2 PyTorch的CPU版安装

官方文档通常推荐CUDA版本，但我们可以改用CPU专用版。先卸载已有torch（如果有），然后执行：

pip install torch==1.13.1+cpu torchvision==0.14.1+cpu -f https://download.pytorch.org/whl/torch_stable.html

这个命令我从清华镜像站测试过，下载速度能到10MB/s。有个常见坑点：千万别装成torch-nightly版本，否则会莫名其妙报段错误。

4. 模型下载与加载优化

4.1 国内加速下载方案

除了百度网盘，推荐用HuggingFace镜像站。先安装git-lfs：

conda install git-lfs
git lfs install

然后克隆国内镜像仓库（速度飞起）：

git clone https://hub.nuaa.cf/THUDM/chatglm-6b.git

4.2 内存占用优化技巧

编辑config.json，加入这两个参数能显著降低内存峰值：

"max_memory": 26000,
"load_in_8bit": true

如果还是爆内存，可以试试分片加载：

from transformers import AutoModel
model = AutoModel.from_pretrained("chatglm-6b", device_map='cpu', torch_dtype=torch.float32)

5. WebUI启动与调优

5.1 批处理文件改造

不要直接运行默认的bat文件，建议新建start_cpu.bat，内容改为：

@echo off
set CUDA_VISIBLE_DEVICES=-1
python webui.py --cpu --listen --port 17860
pause

5.2 访问速度提升

在webui.py中找到这行代码：

app.run(host='0.0.0.0', port=args.port)

改为：

app.run(host='0.0.0.0', port=args.port, threaded=True)

这能让响应速度提升30%左右。如果遇到卡顿，可以按Ctrl+C中断后重新加载模型。

6. 常见问题解决方案

上周帮同事部署时遇到个典型问题：提示"非法指令"。这是因为有些老CPU不支持AVX2指令集。解决方法是用源码编译安装旧版PyTorch：

git clone --recursive https://github.com/pytorch/pytorch
cd pytorch
git checkout v1.12.1
python setup.py install

另一个高频问题是端口冲突，可以用netstat -ano查看占用端口的进程，或者直接换个端口号启动。我习惯用17860这个端口，不容易和其他服务冲突。

7. 进阶玩法与扩展

虽然用CPU跑模型速度有限，但有些技巧能提升体验。比如安装ctransformers库后，可以启用内存映射加速：

pip install ctransformers

然后在代码里加入：

from ctransformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("chatglm-6b", device="cpu", mmap=True)

这样首次加载会慢些，但后续推理速度能提升20%。对于长期运行的场景，建议在代码开头加上：

import os
os.environ["OMP_NUM_THREADS"] = "4"

这个数字根据你的CPU核心数调整，能更好地利用多核性能。