智谱AI通用大模型：本地部署ChatGLM3-6B开源大模型

ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。

文章共3,356字 · 阅读需要大约12分钟

一键AI生成摘要，助你高效阅读

问答

m0_37559973

1252人浏览 · 2024-04-23 17:16:59

m0_37559973 · 2024-04-23 17:16:59 发布

4.3 Streamlit 网页版 Demo

4.4 命令行交互Demo

一、ChatGLM3介绍

ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。

开源模型序列
模型	介绍	代码链接	模型下载
ChatGLM3-6B	第三代 ChatGLM 对话模型。ChatGLM3-6B 采用了全新设计的 Prompt 格式，除正常的多轮对话外。同时原生支持工具调用（Function Call）、代码执行（Code Interpreter）和 Agent 任务等复杂场景。	ChatGLM3	Huggingface 魔搭社区
ChatGLM3-6B-base	第三代ChatGLM基座模型。ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能。		Huggingface 魔搭社区
ChatGLM3-6B-32k	第三代ChatGLM长上下文对话模型。在ChatGLM3-6B的基础上进一步强化了对于长文本的理解能力，能够更好的处理最多32K长度的上下文。		Huggingface 魔搭社区
ChatGLM3-6B-128k	ChatGLM3-6B-128K在ChatGLM3-6B的基础上进一步强化了对于长文本的理解能力，能够更好的处理最多128K长度的上下文。具体地，我们对位置编码进行了更新，并设计了更有针对性的长文本训练方法，在对话阶段使用 128K 的上下文长度训练。在实际的使用中，如果您面临的上下文长度基本在 8K 以内，我们推荐使用ChatGLM3-6B；如果您需要处理超过 8K 的上下文长度，我们推荐使用ChatGLM3-6B-128K。		Huggingface 魔搭社区

智谱AI所有的开源模型对学术研究完全开放，部分模型（ChatGLM系列）在填写问卷进行登记后亦允许免费商业使用。

二、环境配置和检查

2.1 操作系统

ChatGLM3-6B理论上可以在任何主流的操作系统中运行。ChatGLM开发组已经为主流操作系统做了一定的适配。
但是，我们更推荐开发者在 Linux环境下运行我们的代码，以下说明也主要针对Linux系统。

2.2 硬件环境

        最低要求：
        为了能够流畅运行 Int4 版本的 ChatGLM3-6B，我们在这里给出了最低的配置要求：
        内存：>= 8GB
        显存: >= 5GB（1060 6GB,2060 6GB）

        为了能够流畅运行 FP16 版本的，ChatGLM3-6B，我们在这里给出了最低的配置要求：
        内存：>= 16GB
        显存: >= 13GB（4080 16GB）

如果使用CPU加载，可以忽略显存的要求，但是速度非常慢。

2.3 软件环境

Python环境
请开发者按照仓库中的requirements.txt来安装对应的依赖，并需要注意:

python 版本推荐3.10 - 3.11
transformers 库版本推荐为 4.36.2
torch 推荐使用 2.0 及以上的版本，以获得最佳的推理性能

三、本地源码部署

3.1 克隆源码

git clone https://github.com/THUDM/ChatGLM3.git

3.2 下载模型文件

可以Hugging Face Hub 下载模型，如果从 HuggingFace 下载比较慢，也可以从 ModelScope 中下载：

#从ModelScope下载模型

git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

3.3 安装依赖

通过Conda安装一个新的python环境，在虚拟环境中安装依赖：

#1.0 新建python3.11环境

conda create --name zhipuai python=3.11

#1.1 激活zhipuai环境

conda activate zhipuai

#2. 进入 ChatGLM3 源码目录

cd ChatGLM3

#3. 默认安装不指定镜像[pip install -r requirements.txt]安装过程可能会出现依赖或者其它奇怪的错误，建议指定镜像源下载
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/

在安装依赖过程中有可能出现某些依赖安装不了，可以去国内主流的资源镜像平台(如清华大学镜像)下载对应的whl文件，然后通过pip install 安装离线文件，安装好之后，重新执行pip install -r requirements.txt 安装依赖。

3.4 代码调用

GPU 部署

model = AutoModel.from_pretrained("model/chatglm3-6b", trust_remote_code=True, device='cuda')

模型量化
默认情况下，模型以 FP16 精度加载，运行上述代码需要大概 13GB 显存。如果你的 GPU 显存有限，可以尝试以量化方式加载模型，使用方法如下：

model = AutoModel.from_pretrained("model/chatglm3-6b", trust_remote_code=True).quantize(4).cuda()

模型量化会带来一定的性能损失，经过测试，ChatGLM3-6B 在 4-bit 量化下仍然能够进行自然流畅的生成。

CPU 部署
如果你没有 GPU 硬件的话，也可以在 CPU 上进行推理，但是推理速度会更慢。使用方法如下（需要大概 32GB 内存）

model = AutoModel.from_pretrained("model/chatglm3-6b", trust_remote_code=True).float()

编写代码：

from transformers import AutoTokenizer,AutoModel

#使用本地模型
tokenizer = AutoTokenizer.from_pretrained('/data/weisx/zhipuai/model/chatglm3-6b',trust_remote_code=True)

#使用CPU
model = AutoModel.from_pretrained('/data/weisx/zhipuai/model/chatglm3-6b',trust_remote_code=True).float()

model = model.eval()

response,history = model.chat(tokenizer,"你好",history=[])

print(response)

四、运行Demo

4.1 设置本地模型环境变量

export MODEL_PATH=/data/weisx/zhipuai/model/chatglm3-6b

4.2 Gradio 网页版 Demo

Gradio 是一个用于构建机器学习和数据科学项目的 Python 库，它允许用户通过简单的代码创建交互式网页，用户可以通过网页进行输入，并获取相应的输出。由于 Gradio 默认绑定的是本地地址（例如 127.0.0.1 或 localhost），而不是你的局域网或公网 IP 地址，所以 Gradio 创建的网页只能在本机访问，而不能在其他设备上访问。需要修改Gradio 启动参数，设置 share=True ，这样可以让你的应用通过本地网络访问，但不是所有环境都允许。