如果你正在尝试用 Dify 构建自己的 AI 应用，那么“接入大模型”这一步，很可能是你遇到的第一个真正的分水岭。

很多开发者卡在这里，不是因为 Dify 本身复杂，而是因为对“接入”的理解还停留在表面。你以为只是填个 API Key 那么简单？实际上，这背后是关于成本、性能、稳定性和应用场景的一系列关键决策。选错了模型，你的应用可能响应缓慢、成本失控；配置不当，再好的创意也无法稳定落地。

本文不是一篇简单的“点击下一步”的教程。我们将深入 Dify 接入大模型的完整流程，拆解三个核心问题： 第一，如何根据你的应用场景（对话、长文本、代码生成）选择最合适的模型提供商？第二，在 Dify 中配置模型时，那些高级参数（上下文长度、温度、频率惩罚）究竟该怎么调？第三，如何通过简单的测试，快速验证你的接入是否成功、性能是否达标？

读完本文，你将能清晰地规划从模型选型、配置调试到上线验证的全链路，避开新手最常见的“能用但不好用”的坑，真正让大模型成为你应用可靠的生产力引擎。

1. 理解“接入”：从 API 调用到应用赋能

在深入操作之前，我们必须先统一认知：在 Dify 的语境下，“接入大模型”到底意味着什么？

这绝不仅仅是获得一个聊天接口。对于 Dify 这样一个低代码/无代码的 AI 应用开发平台而言，接入大模型相当于为你的整个应用注入了“大脑”。这个大脑的能力（理解、生成、推理、记忆长度）直接决定了你的应用能做什么、做得多好。

传统方式 vs. Dify 方式：

  • 传统方式 ：你需要直接面对各大模型厂商的 API 文档，处理复杂的 HTTP 请求、响应解析、错误重试、Token 计数和费用计算。你需要自己搭建一套架构来管理对话历史、上下文窗口，并为不同场景切换不同的模型。
  • Dify 方式 ：Dify 提供了一个标准化的“模型供应商”抽象层。你只需完成一次性的配置（填入 API 基础地址和 Key），Dify 就会帮你处理上述所有底层复杂性。你可以像在超市选购商品一样，在 Dify 的界面中轻松切换、对比不同模型，并将它们无缝集成到你的“工作流”或“智能体”中。

因此，接入的核心目标有两个： 一是连通 ，确保 Dify 能成功调用模型服务； 二是优化 ，根据你的应用需求，配置出性价比和效果最佳的模型使用方案。

2. 主流模型供应商选型指南

Dify 支持众多模型供应商，包括 OpenAI、Anthropic、国内各大厂商以及通过 OpenAI 兼容接口自托管的模型。选择哪一个，取决于你的需求、预算和技术栈。

2.1 模型供应商全景图

我们可以将供应商分为几类：

供应商类型 代表 特点 适合场景
国际主流商用 OpenAI (GPT-4o, GPT-3.5-Turbo), Anthropic (Claude 3) 能力最强，生态最成熟，但需要国际网络环境，API 调用有延迟和成本。 对效果要求极高的生产级应用，或需要最新模型能力的研究、开发。
国内主流商用 百度文心、阿里通义千问、智谱 GLM、月之暗面 Kimi、DeepSeek 等 中文优化好，访问速度快，符合国内监管要求，通常按 Token 计费。 面向国内用户的中文应用，要求低延迟、稳定访问。
开源/自托管 通过 Ollama、vLLM、Xinference 等部署的 Llama、Qwen、ChatGLM 等模型 数据完全私有，零 API 成本（仅计算成本），可定制化微调。 对数据隐私有强要求，或需要特定领域微调，或希望完全控制模型。
Azure OpenAI 微软 Azure 云服务提供的 OpenAI 模型 企业级 SLA 保障，安全性高，可与 Azure 生态深度集成。 企业客户，已有 Azure 云服务，对服务等级协议有要求。

2.2 如何做出你的选择？

做选择时，请依次回答以下问题：

  1. 用户在哪里？ 如果用户主要在国内，优先考虑国内模型或自托管，避免跨境网络问题。
  2. 预算是多少？ 商用 API 按 Token 计费，长期使用成本需评估。自托管前期有部署成本，但长期边际成本低。
  3. 数据敏感性如何？ 涉及敏感数据，必须选择支持私有化部署的国内厂商或自托管开源模型。
  4. 需要多长的上下文？ 如果是长文档分析、超长对话，需选择支持 128K 甚至更长上下文的模型（如 Claude 3、Kimi、GLM-4）。
  5. 更侧重什么任务？ 代码生成选 CodeLlama 或 GPT-4；逻辑推理选 Claude 3 或 GPT-4；纯聊天可用性价比更高的 GPT-3.5-Turbo 或国内中等模型。

一个实用建议 ：在应用开发初期，可以先用 GPT-3.5-Turbo（通过可访问的渠道） 或 DeepSeek 这类高性价比模型进行原型验证和流程搭建。待核心逻辑跑通后，再根据实际效果和成本，升级到更强大的模型或切换到私有化方案。

3. 环境准备与 Dify 配置检查

在开始接入前，请确保你的 Dify 环境已经就绪。

3.1 Dify 部署状态确认

无论你是通过 Docker 还是二进制方式部署，首先需要确认 Dify 服务正常运行。

# 进入 Dify 部署目录，检查服务状态（以 Docker Compose 为例）
cd /path/to/dify
docker-compose ps

# 预期应看到类似输出，关键服务 `dify-app` 和 `dify-worker` 状态为 `Up`
#      Name                    Command                  State    Ports
# --------------------------------------------------------------------
# dify-app           /bin/bash /app/entrypoint.sh    Up      80/tcp, 5001/tcp
# dify-worker        /bin/bash /app/entrypoint.sh    Up
# dify-postgres      docker-entrypoint.sh postgres   Up      5432/tcp
# dify-redis         docker-entrypoint.sh redis ...  Up      6379/tcp

访问你的 Dify 后台地址（如 http://your-server-ip:5001 ），确保可以正常登录。

3.2 获取模型 API 密钥

根据你的选型，前往对应平台获取 API Key：

  • OpenAI ：登录 OpenAI Platform ，创建新的 API Key。
  • 国内模型 ：登录对应厂商的开放平台（如百度千帆、阿里灵积、智谱开放平台、DeepSeek 平台等）申请。
  • Ollama（本地） ：本地部署无需 API Key，但需要知道模型名称（如 llama3.2:1b ）和 Ollama 服务地址（默认为 http://localhost:11434 ）。

安全提醒 ：API Key 是访问模型的凭证，等同于密码。切勿将其提交到代码仓库或在前端暴露。Dify 会将其加密存储在数据库中。

4. 在 Dify 中接入大模型：核心流程拆解

Dify 中模型配置的核心入口在 “模型供应商” 和 “模型” 两个层级。你可以理解为“供应商”是银行，“模型”是这家银行发行的不同信用卡。

4.1 第一步：添加模型供应商

  1. 登录 Dify 控制台，进入 “设置” -> “模型供应商” 。
  2. 点击 “添加模型供应商” ，你会看到一个长长的支持列表。
  3. 选择你的目标供应商，例如 “OpenAI” 或 “百度千帆” 。

以 OpenAI 为例，配置页面通常需要：

  • 供应商名称 ：自定义一个易于识别的名字，如 My-OpenAI 。
  • API Key ：填入从 OpenAI 平台获取的密钥。
  • API 基础地址 ：对于官方 OpenAI，通常保持默认 https://api.openai.com/v1 即可。 如果你使用第三方代理或 Azure OpenAI，此处需要修改为对应的端点地址。 这是第一个关键配置点。
# 配置示例（非实际文件，仅为说明字段）
供应商类型: OpenAI
自定义名称: My-OpenAI
API密钥: sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
API基础URL: https://api.openai.com/v1 # 注意：使用代理需修改此处

重要提示 ：对于国内用户，直接配置 api.openai.com 很可能无法连通。你需要一个可靠的网络环境，或者在“API 基础地址”中填写一个可用的 反向代理地址 。这是接入国际模型最常见的坑。

4.2 第二步：配置具体模型

添加完供应商后，你需要在这个供应商下启用具体的模型。

  1. 在“模型供应商”页面，找到你刚添加的供应商，点击 “查看” 或 “配置模型” 。
  2. 你会看到该供应商支持的所有模型列表（如 gpt-4o , gpt-3.5-turbo 等）。
  3. 找到你想用的模型，点击右侧的 “启用” 开关。
  4. 关键步骤 ：点击启用后的 “编辑” 图标，配置该模型的参数。

模型配置界面包含以下核心参数，理解它们对优化应用至关重要：

  • 模型名称 ：系统预设，不可改，用于标识。
  • 模型类型 ：分为“文本生成”、“对话”、“Embedding”等，根据模型能力自动匹配。
  • 最大 Token 数 ：即上下文窗口大小。 务必根据模型实际能力设置！ 例如，GPT-3.5-Turbo 可设 16384，但如果你设为 100000，超出部分会被模型忽略或导致错误。
  • 默认 Token 上限 ：单次请求生成内容的最大 Token 数。设置过低会导致回答截断，过高可能浪费资源。一般对话设为 1024-2048 即可。
  • 温度 (Temperature) ：控制输出的随机性。值越高（如 0.8-1.0），回答越创造性、多样化；值越低（如 0.1-0.3），回答越确定、一致。 对于需要事实准确性的问答，建议调低（0.1-0.3）；对于创意写作，可以调高（0.7-0.9）。
  • Top P ：另一种控制随机性的方式，通常与温度二选一。保持默认（如 1.0）即可。
  • 频率惩罚 & 存在惩罚 ：用于降低重复用词的概率。轻度惩罚（如 0.1-0.5）可以使回答更自然，避免车轱辘话。

4.3 第三步：在工作流或智能体中调用模型

模型配置好后，就可以在应用中使用它了。

在“工作流”中使用：

  1. 创建一个新的工作流。
  2. 从节点库中拖入一个 “LLM” 节点到画布。
  3. 点击该 LLM 节点，在右侧配置面板的“模型”下拉列表中，选择你刚刚配置好的模型（如 My-OpenAI / gpt-3.5-turbo ）。
  4. 连接其他节点（如知识库检索、文本处理等），构建你的 AI 应用逻辑。

在“智能体”中使用：

  1. 创建或编辑一个智能体。
  2. 在“模型”配置部分，直接选择你配置好的模型。
  3. 设置提示词、工具等。

5. 实战：接入本地 Ollama 模型

对于想完全私有化、零 API 成本的开发者，接入本地 Ollama 模型是一个极佳选择。下面我们完成一个完整示例。

5.1 环境准备：部署 Ollama

首先，在你的服务器或本地电脑上安装并运行 Ollama。

# 在 Linux/macOS 上安装 Ollama
curl -fsSL https://ollama.ai/install.sh | sh

# 启动 Ollama 服务（通常安装后自动运行）
ollama serve

# 拉取一个模型，例如小巧的 Llama 3.2 1B 版本
ollama pull llama3.2:1b

# 验证模型是否拉取成功
ollama list
# 应输出：NAME            ID              SIZE    MODIFIED
#        llama3.2:1b    xxxxxxxxxxxx    1.1 GB  2 minutes ago

确保 Ollama 的 API 服务运行在 http://localhost:11434 （默认）。

5.2 在 Dify 中配置 Ollama 供应商

Ollama 使用 OpenAI 兼容的 API 接口 ，因此我们在 Dify 中可以通过“自定义 OpenAI 兼容”或“OpenAI”供应商来接入。

  1. 在 Dify “模型供应商”页面，点击“添加模型供应商”。
  2. 在列表中找到 “OpenAI” 并选择。
  3. 进行如下配置：
    • 供应商名称 ： My-Local-Ollama
    • API Key ：Ollama 默认不需要 API Key，但 Dify 要求此字段非空。可以填写任意字符，如 ollama-no-key 。
    • API 基础地址 ： 这是最关键的一步！ 填写你的 Ollama 服务地址，例如 http://localhost:11434/v1 。注意末尾的 /v1 是 OpenAI 兼容接口路径，必须加上。
    • 其他高级设置通常保持默认。

5.3 启用并配置具体模型

  1. 保存供应商后，进入其“配置模型”页面。
  2. 你会发现列表是空的，因为 Dify 无法自动发现 Ollama 的模型。我们需要 手动添加 。
  3. 点击页面上的 “添加模型” 按钮（可能位于列表上方或下方）。
  4. 手动填写模型信息：
    • 模型 ID ：填写你在 Ollama 中拉取的模型名称，例如 llama3.2:1b 。 注意：此处必须与 ollama list 中的名称完全一致。
    • 模型名称 ：可自定义一个展示名，如 Llama-3.2-1B-Local 。
    • 模型类型 ：选择 对话 。
    • 最大 Token 数 ：查阅模型文档，对于 Llama 3.2 1B，可设置为 8192 。
    • 默认 Token 上限 ：设置为 2048 。
    • 温度 ：设置为 0.7 。

保存后，该模型就会出现在你的可用模型列表中，并处于“已启用”状态。

5.4 编写测试工作流验证接入

让我们创建一个简单的工作流来测试本地模型是否接通。

  1. 进入“工作流”，创建新工作流，命名为 测试本地模型 。
  2. 拖入一个 “开始” 节点和一个 “LLM” 节点，并用连线连接它们。
  3. 配置 “开始” 节点：在“变量”部分，添加一个字符串变量，如 question ，默认值设为 请用中文介绍一下你自己。 。
  4. 配置 “LLM” 节点：
    • 模型 ：选择 My-Local-Ollama / Llama-3.2-1B-Local 。
    • 上下文 ：选择“继承上游节点上下文”。
    • 提示词 ：编写一个简单的系统提示词，例如 你是一个乐于助人的AI助手。请用清晰、友好的中文回答用户的问题。 。
    • 查询 ：点击“{}”图标，选择变量 {{question}} 。
  5. 点击右上角 “保存” ，然后点击 “运行” 。

如果配置正确，你将看到工作流执行成功，并在 LLM 节点的输出中看到 Llama 模型生成的中文自我介绍。

6. 运行结果与效果验证

接入成功后，如何进行有效的验证，而不仅仅是看“是否报错”？

6.1 基础连通性测试

使用上述的简单问答工作流进行测试。成功标志是：

  • 工作流运行状态为 “成功” 。
  • LLM 节点有内容输出，且内容基本符合问题要求。
  • 在 Dify 后台的 “日志与诊断” -> “工作流运行记录” 中，可以查看到该次运行的详细记录，包括请求和响应的原始数据（需开启调试）。

6.2 性能与稳定性测试

进行一些压力或边界测试：

  1. 长文本测试 ：输入一段接近模型上下文窗口上限的文本，让其总结。观察是否出错或被截断。
  2. 连续对话测试 ：在智能体模式下，进行多轮对话，检查模型是否能正确维护上下文历史。
  3. 复杂指令测试 ：给出包含多个步骤的指令（如“写一首关于春天的诗，然后将其翻译成英文”），检查模型的指令遵循能力。

6.3 成本监控（针对商用 API）

对于按 Token 计费的模型，务必关注成本。

  • 在 Dify 的 “使用统计” 页面，可以查看不同模型、不同应用的使用量（Token 消耗）。
  • 定期将这里的消耗与模型供应商后台的账单进行比对，确保数据一致。
  • 对于高频应用，考虑在 Dify 中设置用量限制或使用缓存策略。

7. 常见问题与排查思路

接入过程中，90%的问题集中在网络、配置和模型能力上。

问题现象 可能原因 排查方式 解决方案
测试时提示“模型不可用”或“供应商错误” 1. API 基础地址错误。
2. API Key 无效或过期。
3. 网络不通（特别是国际模型）。
4. Ollama 服务未启动。		 1. 检查 API 基础地址 末尾是否有空格或错误路径。
2. 去供应商平台验证 API Key 状态。
3. 在服务器上用 curl 命令测试 API 端点连通性。
4. 运行 ollama serve 并检查端口 11434 。		 1. 修正地址，确保格式如 https://api.openai.com/v1 或 http://localhost:11434/v1 。
2. 重新生成 API Key。
3. 解决网络问题或使用可靠代理。
4. 确保 Ollama 服务正常运行。
模型能回复，但内容全是乱码或英文 1. 系统提示词未指定语言。
2. 模型本身中文能力弱（某些小参数开源模型）。
3. 温度设置过低，导致输出确定性过高。		 1. 检查 LLM 节点的系统提示词。
2. 尝试用简单中文问题测试不同模型。
3. 调整温度参数。		 1. 在系统提示词中明确要求 用中文回答 。
2. 更换为中文优化更好的模型（如 Qwen、ChatGLM）。
3. 将温度适当调高至 0.7 左右。
回答总是被截断 1. “默认 Token 上限”设置过低。
2. 输入内容本身已接近模型“最大 Token 数”上限。		 1. 检查模型配置中的“默认 Token 上限”。
2. 估算输入内容的 Token 长度。		 1. 根据需求提高“默认 Token 上限”。
2. 优化输入，或使用支持更长上下文的模型。
调用速度非常慢 1. 网络延迟高（国际模型）。
2. 本地 Ollama 模型硬件资源（CPU/内存）不足。
3. 模型参数过大，本地推理慢。		 1. 测试网络延迟。
2. 监控服务器资源使用率。
3. 换用小参数模型测试对比。		 1. 考虑使用国内模型或优化网络。
2. 升级服务器配置，或确保 Ollama 能使用 GPU。
3. 在效果和速度间权衡，选择合适模型。
Ollama 模型在 Dify 中找不到 1. 模型 ID 填写错误。
2. Ollama 未成功拉取该模型。
3. Dify 需要手动添加模型。		 1. 核对 ollama list 中的名称。
2. 运行 ollama pull <model-name> 确认。
3. 确认是在“自定义模型”区域手动添加。		 1. 确保模型 ID 与 Ollama 内名称完全一致。
2. 成功拉取模型。
3. 在 Dify 中手动添加模型配置。

8. 最佳实践与工程建议

将模型接入生产环境，还需要考虑以下方面：

  1. 环境隔离 ：在“设置” -> “工作空间”中，为开发、测试、生产环境创建不同的空间，并在各自空间下配置模型。生产环境使用稳定的模型版本和专用 API Key。
  2. 配置分离 ：将 API Key、基础地址等敏感信息通过环境变量管理，而非硬编码在 Dify 界面。Dify 支持在 docker-compose.yaml 中通过环境变量覆盖部分配置。
  3. 模型降级与熔断 ：重要应用应考虑备用方案。例如，主模型使用 GPT-4，当达到速率限制或发生故障时，在 Dify 工作流中通过条件节点自动切换到 GPT-3.5-Turbo 或国内备用模型。
  4. 提示词模板化 ：不要在多个工作流或智能体中重复编写相似的提示词。利用 Dify 的“提示词编排”功能，将常用的系统指令、格式要求等抽象成可复用的模板。
  5. 监控与告警 ：密切关注 Dify “使用统计”和模型供应商后台的报错信息、延迟和费用。对于关键业务，可以设置 Token 消耗阈值告警。
  6. 版本管理 ：当模型供应商发布新版本（如从 gpt-3.5-turbo-0613 升级到 gpt-3.5-turbo-1106 ），先在测试工作空间验证兼容性和效果，再同步到生产空间。

接入大模型是 Dify 应用开发的基石。成功的接入意味着你为应用选择了一个能力匹配、响应迅速、成本可控的“大脑”。记住，没有最好的模型，只有最适合你当前场景的模型。从简单可用的模型开始，快速构建原型，再根据实际反馈和数据不断迭代和优化你的模型选型与配置，这才是利用 Dify 和 AI 能力构建应用的正确路径。

Logo
亚马逊云科技技术品牌专区

更多推荐

open-code-review Codex 插件教程：对话式调用评审技能指南

本文是一份面向新手的 **open-code-review Codex 插件教程**，教你在 Codex 中通过对话式方式调用 open-code-review 的 AI 代码评审技能。open-code-review 是阿里巴巴开源的 AI 代码评审工具，采用"确定性流水线 + LLM Agent"混合架构，内置多语言评审规则（NPE、线程安全、XSS、SQL 注入等），可在 Codex 里用一

avatar 亚马逊云科技技术品牌专区

OBS Studio 完整指南：免费开源录屏与直播软件从零上手

想做一场像模像样的直播，或者把屏幕内容录成教程视频，但一想到商用软件的订阅费就有些犹豫？其实你不需要花一分钱。OBS Studio 是一款免费开源的直播与录屏软件，支持 Windows、macOS 和 Linux，采集、混音、编码、推流、录制，一条流水线全包了。## 先搞清楚 OBS Studio 是什么OBS Studio 是一个"场景化"的采集合成工具：你把摄像头、窗口、浏览器、图片、

avatar 亚马逊云科技技术品牌专区

如何用MediaCrawler爬取小红书抖音数据？7大平台爬虫从安装到实战完整指南

MediaCrawler 是一个支持小红书、抖音、快手、B站、微博、百度贴吧、知乎的开源自媒体数据采集工具。它能按关键词、按帖子、按创作者主页三种方式抓取笔记/视频内容、评论甚至二级评论，并把结果存成 JSON、CSV、Excel 或数据库。适合做市场调研、竞品监控、内容选题的运营人员，以及想要现成爬虫框架而不想从零写 JS 逆向的开发者。## 从一次"手动抄数据"说起想象这个场景：你负责

avatar 亚马逊云科技技术品牌专区