nanobot部署教程：使用cgroups限制nanobot容器GPU显存使用上限防OOM

1. nanobot简介与部署准备

nanobot是一款受OpenClaw启发的超轻量级个人人工智能助手，仅需约4000行代码即可提供核心代理功能，比同类产品的代码量小了99%。这个超轻量级设计让它在资源消耗和部署效率方面表现出色。

当前版本内置了vllm部署的Qwen3-4B-Instruct-2507模型，使用chainlit作为推理界面。整个系统设计简洁高效，实时代码行数保持在3510行左右，你可以随时运行bash core_agent_lines.sh命令进行验证。

部署前准备：

• 确保系统已安装Docker和NVIDIA驱动
• 确认GPU可用且驱动版本兼容CUDA
• 准备至少8GB的可用显存空间

2. 基础部署与验证

2.1 模型服务部署验证

部署完成后，首先需要确认模型服务是否正常运行。通过webshell执行以下命令：

cat /root/workspace/llm.log

查看日志输出，如果显示模型加载成功和相关服务启动信息，说明部署已完成。成功的部署会显示模型加载进度、服务端口监听状态等关键信息。

2.2 chainlit界面调用验证

nanobot使用chainlit作为用户交互界面，启动服务后可以通过浏览器访问chainlit界面。在界面中输入问题，系统会调用nanobot进行回复。

测试时可以尝试简单问题，观察响应速度和答案质量。正常的响应应该在几秒内返回，且内容相关度高。

2.3 基础功能测试

进行实际提问测试，例如：

使用nvidia-smi看一下显卡配置

系统会调用相关命令并返回显卡的详细配置信息，包括GPU型号、显存大小、驱动版本等。这个测试既能验证nanobot的功能正常，也能确认GPU环境配置正确。

3. 使用cgroups限制GPU显存

3.1 为什么需要限制显存使用

大型语言模型在推理过程中会占用大量显存，如果不加以限制，容易导致Out Of Memory（OOM）错误。使用cgroups可以精确控制容器对GPU显存的使用，避免单个容器占用所有可用显存。

cgroups是Linux内核提供的功能，可以对进程组使用的资源进行限制、记录和隔离。在容器环境中，我们可以利用cgroups来限制GPU显存使用上限。

3.2 创建cgroups限制配置

首先创建cgroups组并设置显存限制：

# 创建cgroup目录
sudo mkdir /sys/fs/cgroup/gpu/nanobot_limit

# 设置显存限制为6GB（根据你的GPU显存调整）
echo 6442450944 | sudo tee /sys/fs/cgroup/gpu/nanobot_limit/gpu.memory.max

这里的6442450944字节对应6GB显存，你可以根据实际需要调整这个值。建议保留1-2GB显存给系统和其他进程使用。

3.3 将nanobot容器加入cgroups限制

在启动nanobot容器时，将其加入到刚才创建的cgroups组中：

# 获取容器ID
CONTAINER_ID=$(docker ps -q --filter "name=nanobot")

# 将容器进程加入cgroup
echo $(docker inspect -f '{{.State.Pid}}' $CONTAINER_ID) | sudo tee /sys/fs/cgroup/gpu/nanobot_limit/cgroup.procs

3.4 验证显存限制生效

使用以下命令验证显存限制是否生效：

# 查看当前显存限制
cat /sys/fs/cgroup/gpu/nanobot_limit/gpu.memory.max

# 在容器内测试显存分配
docker exec -it $CONTAINER_ID python -c "
import torch
try:
    # 尝试分配大量显存
    x = torch.cuda.FloatTensor(1500, 1024, 1024)
    print('显存分配成功')
except RuntimeError as e:
    print(f'显存限制生效: {e}')
"

如果显存限制生效，当尝试分配超过限制的显存时，会收到RuntimeError提示。

4. 自动化部署脚本

为了简化部署过程，可以创建自动化脚本：

#!/bin/bash
# nanobot_deploy.sh

# 设置显存限制（单位：字节）
GPU_MEMORY_LIMIT=6442450944

echo "开始部署nanobot并设置GPU显存限制..."

# 创建cgroup目录
sudo mkdir -p /sys/fs/cgroup/gpu/nanobot_limit

# 设置显存限制
echo $GPU_MEMORY_LIMIT | sudo tee /sys/fs/cgroup/gpu/nanobot_limit/gpu.memory.max

echo "显存限制设置完成：$((GPU_MEMORY_LIMIT / 1024 / 1024 / 1024))GB"

# 启动nanobot容器（假设使用docker-compose）
docker-compose up -d

# 等待容器启动
sleep 10

# 将容器进程加入cgroup
CONTAINER_ID=$(docker ps -q --filter "name=nanobot")
if [ ! -z "$CONTAINER_ID" ]; then
    CONTAINER_PID=$(docker inspect -f '{{.State.Pid}}' $CONTAINER_ID)
    echo $CONTAINER_PID | sudo tee /sys/fs/cgroup/gpu/nanobot_limit/cgroup.procs
    echo "已将nanobot容器加入显存限制组"
else
    echo "未找到nanobot容器"
fi

echo "部署完成！"

给脚本添加执行权限并运行：

chmod +x nanobot_deploy.sh
./nanobot_deploy.sh

5. 功能扩展：QQ机器人接入

5.1 注册QQ开放平台

访问QQ开放平台（https://q.qq.com/#/apps）注册个人或企业开发者账号。完成注册后创建新的机器人应用，获取必要的认证信息。

5.2 配置nanobot支持QQ机器人

修改nanobot配置文件，添加QQ机器人支持：

vim /root/.nanobot/config.json

在配置文件中添加QQ频道配置：

{
  "channels": {
    "qq": {
      "enabled": true,
      "appId": "YOUR_APP_ID",
      "secret": "YOUR_APP_SECRET",
      "allowFrom": []
    }
  }
}

将YOUR_APP_ID和YOUR_APP_SECRET替换为从QQ开放平台获取的实际值。

5.3 启动gateway服务

配置完成后，启动nanobot的gateway服务：

nanobot gateway

服务启动成功后，可以看到服务监听端口和连接状态信息。现在你的QQ机器人已经可以正常接收和处理消息了。

6. 监控与故障排除

6.1 显存使用监控

使用以下命令实时监控显存使用情况：

# 查看cgroups显存使用
cat /sys/fs/cgroup/gpu/nanobot_limit/gpu.memory.current

# 转换为GB显示
echo "当前显存使用: $(($(cat /sys/fs/cgroup/gpu/nanobot_limit/gpu.memory.current) / 1024 / 1024 / 1024))GB"

# 使用nvidia-smi监控
watch -n 1 nvidia-smi

6.2 常见问题解决

问题1：cgroups配置不生效 检查cgroups支持：

# 确认cgroups支持
cat /proc/cgroups | grep gpu

# 检查cgroups挂载点
mount | grep cgroup

问题2：显存限制过小导致服务异常 如果设置的限制过小，nanobot可能无法正常启动。逐步增加限制值直到服务稳定运行：

# 逐步增加显存限制
echo 7516192768 | sudo tee /sys/fs/cgroup/gpu/nanobot_limit/gpu.memory.max

问题3：容器重启后cgroups配置丢失 将cgroups配置添加到启动脚本中，确保每次容器重启后自动应用限制。

7. 总结

通过使用cgroups限制nanobot容器的GPU显存使用，我们可以有效防止OOM错误的发生，提高系统的稳定性和可靠性。这种方法有以下几个优势：

资源隔离：确保nanobot不会占用所有可用显存，影响其他进程运行 稳定性提升：避免因显存耗尽导致的系统崩溃 灵活配置：可以根据实际硬件配置调整限制值 成本优化：在共享GPU环境中实现资源的最大化利用

实际部署时，建议先设置一个相对宽松的显存限制，然后根据实际使用情况逐步调整到最优值。同时定期监控显存使用情况，确保系统稳定运行。

记得在使用过程中定期检查日志文件，关注系统性能指标，这样可以在问题出现前及时发现并解决。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。