最近各个大厂都准备开始收割了，都在设置会员功能了，免费的就是一些基本功能，真正能用的都开始收费了，好几百啦。还有几十天我的之前便宜的订阅服务也要暂停了，续费就是好几百啊。最近就想着自己在本地自己搭一个个人AI助手，主要考虑到：
1.个人数据安全，在本地存放；
2.个人知识和经验积累；
3.永久了更适合自己习惯；
有兴趣的小伙伴也可以自己搞一个。

1 环境

1.1 硬件

我自己的电脑是32G内存，8G显存的不算大，但是跑qwen3.5:9b还是可以跑的。不建议显存<8G的搞。

1.2 软件

1.正常的nvidia的驱动和cuda需要安装；
2.我是采用的docker部署，所以需要安装docker和docker-compose，不会的可以自行AI，这里就不详细讲了；

2 部署

2.1 编辑docker-compose文件

我这个是问AI后，再自己摸索得到的直接可以使用的yml文件，大家可以直接使用，我已经踩过AI的坑了，这里面就已经包含了Ollama、Hermes和OpenWebUI。

services:
  # 本地大模型核心服务（GPU 加速）
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: always
    ports:
      - "11434:11434"
    volumes:
      - ./ollama:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
    environment:
      - OLLAMA_HOST=0.0.0.0
      - OLLAMA_NUM_PARALLEL=3
      - OLLAMA_MAX_LOADED_MODELS=2
      - OLLAMA_NUM_GPU=1
      - OLLAMA_GPU_LAYERS=all
      
  hermes:
    image: nousresearch/hermes-agent:latest
    container_name: hermes
    restart: always
    ports:
      - "8642:8642"  # Hermes API 默认端口
    volumes:
      - ./hermes_data:/opt/data
    extra_hosts:
      - "host.docker.internal:host-gateway"
    environment:
      # 让 Hermes 使用 Ollama 作为后端
      - HERMES_MODEL_PROVIDER=ollama
      - HERMES_API_KEY=sk-hermes-12345
      - OLLAMA_HOST=http://host.docker.internal:11434
      
      # 开启 Hermes API 服务
      - GATEWAY_ALLOW_ALL_USERS=true
      - API_SERVER_ENABLED=true
      - API_SERVER_KEY=sk-hermes-12345         # 开启 API（环境变量！）
      - API_SERVER_PORT=8642            # 指定端口
      - API_SERVER_HOST=0.0.0.0
      - OPENAI_API_KEY=sk-hermes-12345
      - AUXILIARY_PROVIDER=none
      - DISABLE_OPENROUTER=true
    command: ["gateway"]
    depends_on:
      - ollama

  # Web 界面 + RAG 知识库
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: always
    depends_on:
      - ollama
      - hermes
    ports:
      - "3000:3000"
    volumes:
      - ./open-webui:/app/backend/data
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
      - ENABLE_RAG=true
      - HF_ENDPOINT=https://hf-mirror.com
      - HOST=0.0.0.0          # 核心：让服务允许外部访问
      - PORT=3000
      - OPENAI_API_BASE_URL=http://hermes:8642/v1
      - OPENAI_API_KEY=sk-hermes-12345
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
volumes:
  ollama_data:
  hermes_data:
  open-webui_data:

2.2 启动

1.启动会自己去拉取镜像，这个时间比较长，可能还需要科学上网才行。

docker-compose up -d  #启动
docker-compose down  #关闭

2.打开浏览器登陆OpenWebUI，http://127.0.0.1:3000，首次访问需要进行用户注册，注册完后登陆用户就进入下面的界面了（但是不会显示qwen3.5:9b，这个是我已经搭建好的）。

2.3 拉取模型

这一部你可以把你的电脑系统信息截图给AI，让他给你推荐比较合适的模型版本，这里以qwen3.5:9b为例。

#进入容器
docker exec -it ollama bash
#拉取模型
ollama pull qwen3.5:9b
# 如果拉成功了
ollama list #可以查看本地模型

2.4 配置Ollama

1.进入OpenWebUI界面，点击右上角的用户图标，选择“管理员面板”，进入后点击“设置”，如下图。

点击“外部链接”，配置ollama的地址，如果配置了就不用了；再点击“模型”应该就能看到下载的模型了。

再点击左上角的OpenWebUI图标就跳到聊天窗口，选择模型就可以聊天了。

2.5 配置Hermes

1.进入设置界面，点击“外部链接”，再右边点击openai的配置进入配置界面，配置hermes的URL地址和Key，模型 ID，并保存。

2.进入hermes配置

#进入容器
docker exec -it hermes bash
#配置参数
/opt/hermes/.venv/bin/hermes setup

进入快速配置，选择custom进行API配置，配置地址：http://ollama:11434/v1，回车后输入Key，再选择下载的模型，再一步步配置就行了，相信大家应该可以搞定的 ，这就不详细说了。

3 结束

到这里基本就配置完成了，就可以和hermes_agent聊天了，后面OpenWebUI还有许多其他的功能，像RAG知识库、笔记、技能、提示词等还在摸索中，后续等摸索明白了再给大家分享。可以关注我获取后续的分享。