部署dify调用本地LLM提供外部服务
·
一、安装大模型供应商
首先确保本地安装好了dify
windows安装dify详细图文教程_wsl安装dify-CSDN博客
进入dify
首先配置模型供应商

因为我已经安装好ollama了,这里大家跟着我安装ollama就好

点击添加模型


点击管理凭据,这是部署好后的样子

首先确保服务器上有部署好大模型
首先确保端口对外开放:
确认服务器 Ollama 服务可访问
# 查看Ollama进程
ps aux | grep ollama
# 测试本地访问
curl http://localhost:11434/api/tags
Ollama 已经在服务器上成功运行,并且已经拉取了两个模型

运行 Ollama 的服务器的公网或内网 IP 地址,以便 Dify 能够访问
# 查看内网IP
hostname -I
# 查看公网IP
curl ifconfig.me
返回服务器ip
![]()
打马赛克地方换成自己的服务器ip

二、搭建工作流

选择本地大模型

工作流搭建完成

发布工作流

创建api密钥

Base URL 为 127.0.0.1,目前只有你本地计算机可以使用这个服务

三、使用本地dify提供外部服务
首先找到dify里面的yaml文件

找到 api 服务,添加端口映射:
api:
image: langgenius/dify-api:1.13.0
restart: always
ports:
- "5001:5001" # 宿主机5001 → 容器5001,绕过Nginx
environment:
<<: *shared-api-worker-env
MODE: api
HOST: 0.0.0.0 # 必须是 0.0.0.0,确保对外监听
depends_on:
# 保留原有依赖即可
重启 Dify 服务
cd /d D:\dify\dify-1.13.0\docker
docker-compose down && docker-compose up -d
用 api 服务的地址测试
*****替换为你的api key
curl -X POST http://127.0.0.1:5001/v1/workflows/run -H "Authorization: Bearer *********" -H "Content-Type: application/json" -d "{\"inputs\": {\"query\": \"高速公路隧道养护\"}, \"response_mode\": \"blocking\", \"user\": \"java-backend-service\"}"
返回成功
用 UTF-8 正常解析成中文

更多推荐


所有评论(0)