Nanbeige 4.1-3B保姆级教学：从Docker拉取镜像到自定义System Prompt全流程

1. 环境准备与快速部署

1.1 系统要求

• 操作系统：支持Linux/Windows/macOS（推荐Ubuntu 20.04+）
• 硬件配置：
  • GPU：NVIDIA显卡（显存≥8GB）
  • 内存：≥16GB
  • 存储空间：≥20GB可用空间
• 软件依赖：
  • Docker 20.10+
  • NVIDIA Container Toolkit（GPU加速需要）

1.2 Docker镜像拉取

打开终端执行以下命令获取最新镜像：

docker pull registry.cn-hangzhou.aliyuncs.com/nanbeige/nanbeige-rpg:4.1-3b

1.3 一键启动容器

使用以下命令启动带GPU支持的容器：

docker run -it --gpus all -p 8501:8501 \
  -v ~/nanbeige_data:/data \
  registry.cn-hangzhou.aliyuncs.com/nanbeige/nanbeige-rpg:4.1-3b

参数说明：

• -p 8501:8501：将容器内Streamlit端口映射到本地
• -v ~/nanbeige_data:/data：挂载数据卷持久化对话记录

2. 界面初体验与基础功能

2.1 访问像素风格界面

启动成功后，在浏览器访问：

http://localhost:8501

2.2 核心交互元素介绍

• 玩家输入框：底部蓝色文本框（快捷键：Enter发送）
• AI响应区域：绿色对话框带像素边框
• 系统日志窗口：右侧显示<think>标签内容
• 功能按钮：
  • RESET：红色按钮（清空对话上下文）
  • SETTINGS：齿轮图标（调整生成参数）

2.3 首次对话测试

尝试输入简单指令：

/help

系统会返回内置命令列表，验证基础功能正常。

3. 高级配置与自定义

3.1 修改System Prompt

编辑配置文件/data/system_prompt.txt：

你是一位来自像素世界的贤者，掌握着古老的智慧。请用游戏NPC的语气回答玩家问题，适当加入幻想世界的设定描述。重要规则：
1. 每次回答后附加<think>解释回答逻辑</think>
2. 称呼用户为"勇者"
3. 保持回答在3-5句话内

3.2 调整生成参数

通过SETTINGS面板可修改：

• Temperature：0.7（推荐创意对话）
• Max tokens：2048（根据显存调整）
• Top-p：0.9（平衡多样性与相关性）

3.3 自定义视觉样式

修改CSS文件/data/theme.css：

/* 修改对话框颜色 */
.player-bubble {
  background-color: #5D8BF4 !important; /* 更深的蓝色 */
}

.bot-bubble {
  background-color: #7FB77E !important; /* 更柔和的绿色 */
}

4. 常见问题解决

4.1 镜像拉取失败

• 问题：Error response from daemon
• 解决：
  1. 检查Docker服务状态：sudo systemctl restart docker
  2. 登录仓库：docker login registry.cn-hangzhou.aliyuncs.com

4.2 GPU无法识别

• 问题：Could not select device...
• 解决：
  1. 安装NVIDIA驱动：nvidia-smi验证
  2. 安装NVIDIA Container Toolkit：

     distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
     && curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - \
     && curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
     sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
     

4.3 响应速度慢

• 优化方案：
  1. 降低max_new_tokens值（建议512-1024）
  2. 启用8-bit量化：

     model = AutoModelForCausalLM.from_pretrained(
         "nanbeige-4.1-3b",
         load_in_8bit=True,
         device_map="auto"
     )
     

5. 总结与进阶建议

5.1 核心流程回顾

1. 通过Docker快速部署环境
2. 体验像素风格的对话界面
3. 自定义系统提示和生成参数
4. 解决常见运行问题

5.2 进阶玩法推荐

• 多角色对话：在system prompt中定义不同NPC角色
• 冒险剧情设计：用/scenario命令设置故事背景
• 外部数据接入：通过API连接游戏数据库

5.3 性能优化方向

• 使用TGI推理服务器提升并发能力
• 尝试4-bit量化减小显存占用
• 对长对话启用上下文压缩

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。