本文档记录了在 Windows 环境下,使用 Docker Desktop 部署 Dify 并接入 Ollama 本地大模型的完整步骤,适用于构建本地 AI 应用开发环境。

一、环境准备

1.1 硬件与系统要求

项目最低配置推荐配置
操作系统Windows 10 21H2+Windows 11
CPU4核8核+
内存16GB32GB
硬盘50GB100GB+
显卡无NVIDIA GPU(支持CUDA)
WSL 2已安装已安装并配置好

我的电脑配置

理论上比我强的电脑都可以,本人实测一份2500多字的体检报告,模型跑完是7,8分钟的样子。

1.2 安装 Docker Desktop

  1. 访问 Docker Desktop 官网 下载 Windows 版本。

  2. 双击安装包,勾选“使用 WSL 2 代替 Hyper-V”。

  3. 安装完成后重启电脑。

  4. 启动 Docker Desktop,等待左下角状态变为绿色(Running)。

1.3 配置国内镜像加速

Docker Desktop → Settings → Docker Engine:

{
  "registry-mirrors": [
    "https://docker.1ms.run",
    "https://docker.m.daocloud.io",
    "https://dockerproxy.com",
    "https://hub-mirror.c.163.com"
  ]
}

点击 Apply & Restart 使配置生效。

二、Dify 部署

2.1 克隆代码并启动

# 克隆 Dify 仓库
git clone https://github.com/langgenius/dify.git
cd dify

# 进入 docker 目录并复制环境配置文件
cd docker
cp .env.example .env

# 启动所有服务
docker compose up -d

首次启动需要下载镜像,时间较长(取决于网络),建议配置好镜像加速器。

2.2 验证服务状态

docker compose ps

所有服务应显示 Up 状态,包括 api-1、worker-1、nginx-1、web-1 等。

2.3 访问 Dify 控制台

浏览器打开 http://localhost,首次访问进入初始化页面,设置管理员邮箱和密码即可登录。

三、Ollama 安装与模型下载

3.1 安装 Ollama

访问 Ollama 官网 下载 Windows 版本安装包,安装完成后在系统托盘(任务栏右下角)会出现 Ollama 图标(羊驼)。

3.2 下载大模型

打开 CMD 或 PowerShell 执行:

# 下载 7B 模型(约 4.7GB,适合有 GPU 或追求准确率的场景)
ollama pull qwen2.5:7b

# 或下载 1.5B 模型(约 1.2GB,速度较快,适合无 GPU 场景)
ollama pull qwen2.5:1.5b

# 查看已下载的模型列表
ollama list

# 查看模型运行状态
ollama ps

3.3 验证 Ollama 服务

curl http://localhost:11434/api/generate -d "{\"model\": \"qwen2.5:7b\", \"prompt\": \"你好\", \"stream\": false}"

返回 JSON 响应即表示服务正常。

四、Dify 接入 Ollama

4.1 进入模型配置页面

Dify 控制台 → 右上角头像 → 设置 → 模型供应商

4.2 添加 Ollama 模型

找到 Ollama 卡片,点击“添加模型”:

配置项填写内容
模型类型LLM(对话)
模型名称qwen2.5:7b(与 ollama list 显示的完全一致)
基础 URLhttp://host.docker.internal:11434
API 密钥随意填写(如 ollama)
上下文大小131072(建议根据模型填写)
最大 token 上限4096
是否支持 Vision否
是否支持函数调用否

⚠️ 关键点:基础 URL 必须填写 http://host.docker.internal:11434,因为 Dify 运行在 Docker 容器内,需要用此地址访问宿主机的 Ollama 服务。

4.3 保存并验证

点击“保存”,保存成功即表示连接已建立。

五、创建工作流

5.1 创建空白工作流

Dify 左侧菜单 → 工作室 → 创建空白应用 → 选择 “工作流” 类型 → 命名(如 health-report-parser)

5.2 配置 LLM 节点

  1. 从左侧拖拽 LLM 节点到画布,连接“开始”节点。

  2. 配置节点:

    • 模型:选择已添加的 qwen2.5:7b

    • 上下文:引用开始节点中的 report_text 变量

5.3 编写提示词(Prompt)

系统提示词:

你是一个专业的体检报告解析助手,擅长从体检报告中提取关键健康指标。

用户提示词:

请从以下体检报告文本中提取被检人基本信息(姓名、性别、年龄、电话、身份证号、体检日期)和体检指标(白细胞、血红蛋白、血小板、收缩压、舒张压、总胆固醇、甘油三酯、空腹血糖、肌酐、尿素氮、尿酸、同型半胱氨酸、心电图结论、胸部DR结论),以 JSON 格式输出。
报告文本:{{report_text}}

完整提示词评论区留言获取。

5.4 发布工作流

点击右上角 “保存” → “发布”。

5.5 获取 API 密钥

左侧菜单 → “访问API” → “API 密钥” → “创建新的 API 密钥”,复制保存(格式:app-xxxxxxxx)。

六、常见问题排查

6.1 Docker Desktop 启动失败

wsl -l -v  # 查看 docker-desktop 状态
# 如果显示 Stopped,执行:
wsl -d docker-desktop
# 然后重启 Docker Desktop

6.2 镜像拉取失败

  • 检查 Docker Desktop 是否已配置镜像加速器

  • 尝试手动拉取:docker pull langgenius/dify-api:1.14.2

  • 或者使用手机热点重试

6.3 Ollama 连接失败

  • 确认 Ollama 已在系统托盘中运行

  • 确认 Dify 中使用的是 http://host.docker.internal:11434

  • 执行 curl http://localhost:11434/api/generate 验证服务

6.4 Dify 中模型无法添加

  • 确认模型名称与 ollama list 完全一致(包括大小写)

  • 尝试在 Ollama 中重新拉取模型

6.5 Docker Desktop 无法启动

  • 完全退出 Docker Desktop,重新启动

  • 如果持续报错,卸载 Docker Desktop,重启电脑,重新安装

七、快速参考
项目地址/命令
Dify 控制台http://localhost
Ollama APIhttp://localhost:11434
Dify APIhttp://localhost/v1/workflows/run
查看 Dify 容器状态docker compose ps
查看 Dify 容器日志docker compose logs -f
Ollama 命令ollama list / ollama ps / ollama pull {model}
验证 Ollamacurl http://localhost:11434/api/generate -d "{\"model\": \"qwen2.5:7b\", \"prompt\": \"hi\", \"stream\": false}"
八、总结

至此,你已完成了整套本地 AI 应用开发环境的搭建:

  • Docker Desktop:容器化运行 Dify

  • Dify:工作流编排与 API 网关

  • Ollama + Qwen2.5:本地大模型推理服务

这套环境完全运行在本地,适合开发调试,也适用于对数据隐私有要求的内部应用场景。

更多推荐