从零开始：用vLLM部署GLM-4-9B-Chat的完整流程

1. 为什么选择GLM-4-9B-Chat？

如果你正在寻找一个既能进行智能对话，又能处理超长文档的开源大模型，GLM-4-9B-Chat绝对值得关注。这个模型来自智谱AI，是GLM-4系列的最新开源版本，在多个评测中表现相当出色。

让我先说说它的几个亮点：

• 超长上下文支持：最大支持1M的上下文长度，这是什么概念？大概能处理200万中文字符。这意味着你可以把整本书、长篇报告、甚至多个文档一起喂给它，它都能理解上下文关系。

• 多语言能力：除了中文和英文，还支持日语、韩语、德语等26种语言。对于需要多语言处理的项目来说，这个功能很实用。

• 高级功能：不只是简单的问答，它还支持网页浏览、代码执行、自定义工具调用等功能。你可以把它当作一个智能助手来用。

• 开源免费：作为开源模型，你可以自由部署、修改，不用担心API调用费用的问题。

现在你可能在想：这么强大的模型，部署起来会不会很复杂？别担心，今天我就带你一步步走完整个部署流程，从环境准备到实际使用，保证你能在自己的机器上跑起来。

2. 部署前的准备工作

2.1 硬件和软件要求

在开始之前，我们先看看需要什么样的环境。GLM-4-9B-Chat对硬件有一定要求，毕竟是个90亿参数的大模型。

硬件建议：

• GPU内存：至少16GB显存（推荐24GB以上）
• 系统内存：32GB RAM或更多
• 存储空间：模型文件大约需要20GB空间

软件环境：

• 操作系统：Linux（Ubuntu 20.04/22.04）或Windows WSL2
• Python版本：3.9或3.10
• CUDA版本：11.8或12.1（根据你的GPU驱动选择）

如果你没有这么强的硬件，也不用担心。现在有很多云平台提供GPU实例，按小时计费，成本并不高。或者你也可以考虑使用量化版本，对显存要求会低一些。

2.2 为什么选择vLLM？

你可能会问：为什么不用原生的PyTorch部署，而要选择vLLM？这里有几个关键原因：

• 推理速度更快：vLLM采用了PagedAttention技术，能显著提升推理速度，特别是在处理长文本时。
• 内存效率更高：通过内存优化，同样的模型在vLLM上运行时需要的内存更少。
• 支持OpenAI API格式：部署后可以直接使用OpenAI的API格式调用，兼容性很好。
• 易于部署：vLLM提供了简单的一键部署脚本，大大降低了部署难度。

简单来说，vLLM能让你的模型跑得更快、更省资源，而且使用起来更方便。

3. 一步步部署GLM-4-9B-Chat

3.1 创建Python虚拟环境

我们先从创建独立的Python环境开始。这样做的好处是避免不同项目的依赖冲突。

# 创建新的虚拟环境
conda create -n glm-vllm python=3.9 -y

# 激活虚拟环境
conda activate glm-vllm

如果你没有安装conda，也可以用venv：

# 创建虚拟环境
python -m venv glm-vllm

# 激活虚拟环境（Linux/Mac）
source glm-vllm/bin/activate

# 激活虚拟环境（Windows）
glm-vllm\Scripts\activate

3.2 安装vLLM

接下来安装vLLM。这里有个小技巧：如果你在安装过程中遇到CUDA相关的问题，可以先安装PyTorch，再安装vLLM。

# 安装vLLM
pip install vllm

# 如果需要特定版本的vLLM
# pip install vllm==0.3.3

安装完成后，你可以验证一下是否安装成功：

python -c "import vllm; print('vLLM版本:', vllm.__version__)"

3.3 下载GLM-4-9B-Chat模型

模型可以从魔塔社区（ModelScope）下载。这里我推荐使用git lfs，因为模型文件比较大。

# 安装git lfs（如果还没安装）
git lfs install

# 克隆模型仓库
git clone https://www.modelscope.cn/ZhipuAI/glm-4-9b-chat.git

下载过程可能需要一些时间，因为模型文件大约20GB。如果网络不稳定导致下载中断，可以重新执行下载命令。

如果遇到git lfs pull的问题，可以尝试：

# 如果git clone后模型文件没有正确下载
cd glm-4-9b-chat
git lfs pull

3.4 启动vLLM服务

现在到了关键步骤：启动vLLM服务。这里有几个重要的参数需要配置：

# 设置环境变量（如果遇到NCCL相关错误）
export TORCH_NCCL_AVOID_RECORD_STREAMS=1

# 启动vLLM服务
python -m vllm.entrypoints.openai.api_server \
    --model /path/to/your/glm-4-9b-chat \
    --served-model-name glm-4-9b-chat \
    --trust-remote-code \
    --api-key token-abc123 \
    --host 0.0.0.0 \
    --port 8000 \
    --max-model-len 131072 \
    --gpu-memory-utilization 0.9 \
    --enforce-eager \
    --tensor-parallel-size 1

让我解释一下这些参数的作用：

• --model：指定模型路径，就是你刚才下载的模型目录
• --served-model-name：服务名称，调用API时会用到
• --trust-remote-code：允许加载自定义代码（GLM需要这个参数）
• --api-key：API密钥，这里可以设置任意值
• --host 0.0.0.0：允许所有IP访问
• --max-model-len：最大上下文长度，这里设置为128K
• --gpu-memory-utilization：GPU内存使用率，0.9表示使用90%的显存
• --tensor-parallel-size：张量并行数，单GPU设置为1

启动成功后，你应该能看到类似这样的输出：

INFO 07-15 14:30:25 llm_engine.py:72] Initializing an LLM engine with config: ...
INFO 07-15 14:30:25 llm_engine.py:73] Loading model weights...
INFO 07-15 14:30:30 llm_engine.py:74] Model loaded successfully.
INFO 07-15 14:30:30 llm_engine.py:75] Starting HTTP server on http://0.0.0.0:8000...

3.5 验证服务是否正常运行

服务启动后，我们可以写一个简单的Python脚本来测试：

from openai import OpenAI

# 配置API信息
API_BASE_URL = "http://localhost:8000/v1"
API_KEY = "token-abc123"

# 创建客户端
client = OpenAI(
    base_url=API_BASE_URL,
    api_key=API_KEY,
)

def test_model():
    try:
        # 发送测试请求
        completion = client.chat.completions.create(
            model="glm-4-9b-chat",
            messages=[
                {"role": "user", "content": "你好，请介绍一下你自己。"}
            ],
            max_tokens=100
        )
        
        response = completion.choices[0].message.content
        print("模型回复：", response)
        return True
    except Exception as e:
        print(f"测试失败：{e}")
        return False

if __name__ == "__main__":
    if test_model():
        print(" 服务运行正常！")
    else:
        print(" 服务运行异常，请检查日志。")

运行这个脚本，如果看到模型回复了自我介绍，说明部署成功了。

4. 使用Chainlit构建Web界面

虽然通过API调用很方便，但有个Web界面会更直观。Chainlit是一个专门为AI应用设计的UI框架，配置起来很简单。

4.1 安装Chainlit

pip install chainlit

4.2 创建Chainlit应用

创建一个新的Python文件，比如叫app.py：

import chainlit as cl
from openai import OpenAI

# 配置GLM-4-9B-Chat的API
client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="token-abc123",
)

@cl.on_chat_start
async def start_chat():
    # 发送欢迎消息
    await cl.Message(
        content="你好！我是基于GLM-4-9B-Chat的AI助手，支持1M上下文长度。有什么可以帮你的吗？"
    ).send()

@cl.on_message
async def main(message: cl.Message):
    # 显示用户消息
    msg = cl.Message(content="")
    await msg.send()
    
    try:
        # 调用GLM-4-9B-Chat
        response = client.chat.completions.create(
            model="glm-4-9b-chat",
            messages=[
                {"role": "user", "content": message.content}
            ],
            stream=True,
            max_tokens=1000
        )
        
        # 流式显示回复
        for chunk in response:
            if chunk.choices[0].delta.content:
                await msg.stream_token(chunk.choices[0].delta.content)
                
    except Exception as e:
        await cl.Message(
            content=f"抱歉，出错了：{str(e)}"
        ).send()
        return
    
    await msg.update()

if __name__ == "__main__":
    cl.run(app, host="0.0.0.0", port=7860)

4.3 启动Chainlit服务

# 启动Chainlit
chainlit run app.py

启动后，在浏览器中打开 http://localhost:7860，就能看到一个聊天界面了。你可以在这里直接和GLM-4-9B-Chat对话，体验它的1M上下文能力。

5. 实际应用示例

5.1 处理长文档

GLM-4-9B-Chat最强大的功能就是处理长文本。让我们试试看：

def process_long_document(document_text, question):
    """
    处理长文档并回答问题
    """
    prompt = f"""
    请根据以下文档内容回答问题：
    
    文档内容：
    {document_text}
    
    问题：{question}
    
    请给出详细的回答。
    """
    
    response = client.chat.completions.create(
        model="glm-4-9b-chat",
        messages=[
            {"role": "user", "content": prompt}
        ],
        max_tokens=500
    )
    
    return response.choices[0].message.content

# 示例：处理一篇长文章
long_article = """这里是一篇很长的文章内容..."""  # 可以放几十万字的文本

question = "这篇文章的主要观点是什么？"
answer = process_long_document(long_article, question)
print(f"问题：{question}")
print(f"回答：{answer}")

5.2 代码生成和解释

GLM-4-9B-Chat在代码方面表现也不错：

def generate_code(requirement):
    """
    根据需求生成代码
    """
    prompt = f"""
    请根据以下需求生成Python代码：
    
    需求：{requirement}
    
    要求：
    1. 代码要有详细的注释
    2. 包含错误处理
    3. 代码要简洁高效
    """
    
    response = client.chat.completions.create(
        model="glm-4-9b-chat",
        messages=[
            {"role": "user", "content": prompt}
        ],
        temperature=0.2,  # 降低温度让代码更稳定
        max_tokens=1000
    )
    
    return response.choices[0].message.content

# 示例：生成一个数据处理函数
requirement = "写一个函数，读取CSV文件，计算每列的平均值，并处理缺失值"
code = generate_code(requirement)
print("生成的代码：")
print(code)

5.3 多轮对话

由于支持长上下文，GLM-4-9B-Chat在多轮对话中能记住之前的对话内容：

class Conversation:
    def __init__(self):
        self.messages = []
    
    def add_message(self, role, content):
        self.messages.append({"role": role, "content": content})
    
    def chat(self, user_input):
        # 添加用户消息
        self.add_message("user", user_input)
        
        # 调用模型
        response = client.chat.completions.create(
            model="glm-4-9b-chat",
            messages=self.messages,
            max_tokens=200
        )
        
        # 获取回复
        assistant_reply = response.choices[0].message.content
        
        # 添加助手回复
        self.add_message("assistant", assistant_reply)
        
        return assistant_reply

# 使用示例
conversation = Conversation()

# 第一轮
reply1 = conversation.chat("你好，我想学习Python编程，有什么建议吗？")
print(f"助手：{reply1}")

# 第二轮（模型会记得之前的对话）
reply2 = conversation.chat("那对于数据分析，应该学习哪些库呢？")
print(f"助手：{reply2}")

# 第三轮
reply3 = conversation.chat("刚才你提到的pandas，能详细说说怎么用吗？")
print(f"助手：{reply3}")

6. 性能优化和问题解决

6.1 常见问题及解决方法

在部署过程中，你可能会遇到一些问题。这里我整理了一些常见问题和解决方法：

问题1：GPU内存不足

解决方案：
1. 使用量化版本：GLM-4-9B-Chat有4-bit量化版本，显存需求减半
2. 调整batch size：在启动命令中添加 --max-num-batched-tokens 2048
3. 使用CPU卸载：部分层可以放在CPU上（需要修改配置）

问题2：推理速度慢

解决方案：
1. 启用连续批处理：添加 --enable-prefix-caching
2. 使用更快的GPU：如果可能的话
3. 调整max_model_len：根据实际需求设置，不要盲目设太大

问题3：模型加载失败

解决方案：
1. 检查模型路径是否正确
2. 确保有足够的磁盘空间
3. 验证模型文件完整性：md5sum检查

6.2 性能调优建议

为了让GLM-4-9B-Chat运行得更快更稳定，这里有几个调优建议：

# 优化后的启动命令
python -m vllm.entrypoints.openai.api_server \
    --model /path/to/glm-4-9b-chat \
    --served-model-name glm-4-9b-chat \
    --trust-remote-code \
    --api-key token-abc123 \
    --host 0.0.0.0 \
    --port 8000 \
    --max-model-len 65536 \  # 根据实际需求设置
    --gpu-memory-utilization 0.85 \  # 留一些余量
    --max-num-batched-tokens 4096 \  # 控制批处理大小
    --enable-prefix-caching \  # 启用前缀缓存
    --tensor-parallel-size 1 \
    --block-size 16

6.3 监控和日志

部署后，监控模型的运行状态很重要：

import time
import requests

def monitor_service():
    """
    监控服务状态
    """
    while True:
        try:
            # 检查服务是否存活
            response = requests.get("http://localhost:8000/health")
            if response.status_code == 200:
                print(f"[{time.strftime('%Y-%m-%d %H:%M:%S')}] 服务正常")
            else:
                print(f"[{time.strftime('%Y-%m-%d %H:%M:%S')}] 服务异常")
        except:
            print(f"[{time.strftime('%Y-%m-%d %H:%M:%S')}] 服务不可达")
        
        time.sleep(60)  # 每分钟检查一次

# 查看vLLM日志
def check_logs():
    """
    查看模型服务日志
    """
    import subprocess
    
    # 查看最近的日志
    result = subprocess.run(
        ["tail", "-n", "100", "/root/workspace/llm.log"],
        capture_output=True,
        text=True
    )
    
    print("最近100行日志：")
    print(result.stdout)

7. 总结

通过今天的教程，我们完成了GLM-4-9B-Chat的完整部署流程。让我简单回顾一下关键步骤：

1. 环境准备：创建Python虚拟环境，安装必要的依赖
2. 模型下载：从魔塔社区获取GLM-4-9B-Chat模型
3. vLLM部署：使用vLLM启动模型服务，支持OpenAI API格式
4. Web界面：用Chainlit构建友好的聊天界面
5. 实际应用：体验模型的1M上下文能力和各种实用功能

GLM-4-9B-Chat作为一个开源大模型，在性能和功能上都有不错的表现。特别是它的1M上下文长度，在处理长文档、多轮对话等场景中很有优势。

部署过程中最需要注意的就是硬件资源。如果显存不足，可以考虑使用量化版本，或者调整批处理大小等参数。实际使用中，根据你的具体需求调整max_model_len等参数，能在性能和效果之间找到平衡点。

现在你已经有了一个可以处理超长文本的AI助手，可以尝试用它来处理各种任务：文档分析、代码生成、智能对话等等。最重要的是，这是完全在你控制下的私有化部署，数据安全有保障。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。