Dify 概述与安装

随着大模型的浪潮滚滚而来，各种大模型多达上百种，我们需要集成大模型则需要单独去看每种大模型的api,以及需要使用代码定义prompt、RAG、FuncationCall、ChatMemory等。大模型编排工具也就运营而生，大模型编排工具就是协调和管理大语言模型（LLM）与其他工具、数据源或系统组件协同工作的框架或平台，旨在实现复杂任务的自动化流程管理。本文主要介绍常见的大模型编排工具、dify概述和安装。

常见的LLM编排工具

一、开源工具
1.Dify
支持对话式应用、RAG（检索增强生成）和Agent开发，提供可视化Prompt编排和变量系统。
内置多模型接入（如OpenAI、Claude、Gemini），支持微调和私有化部署，
但商用需注意多租户限制和UI版权要求
适用场景：企业智能客服、SaaS工具快速原型开发
2.Semantic Kernel https://devblogs.microsoft.com/semantic-kernel
微软推出的轻量级SDK，支持C#、Python，可对接OpenAI、Azure OpenAI等模型。
提供插件扩展、任务分解和数据库存储能力，适合复杂任务编排

3.jittor LLM https://cg.cs.tsinghua.edu.cn/jittor/news/2023-04-07-08-50-00-00-jittorllms
清华大学联合开发的推理库，支持无显卡设备运行大模型（如ChatGLM、LLaMA）。
通过动态swap机制和硬件适配（NVIDIA/AMD/国产芯片）优化部署效率。

二、商用与本地化工具
1.DS本地部署大师 https://www.160.com/dsdeploymaster/index.html
零代码一键部署DeepSeek、Llama等模型，支持多模型并行管理和量化压缩（如INT8量化降低显存占用），提供性能监控和本地数据闭环，适合隐私敏感场景。

2.腾讯智影/即梦AI
https://ima.qq.com/download/?webFrom=10000028&channel=10000028&bd_vid=4671098395832228898
视频生成类工具，支持文本转视频、多风格渲染和智能编辑，降低视频创作门槛。

Dify概述

Dify是一款开源的大语言模型应用开发平台，是一种流行的开源大模型编排工具。它融合了后端即服务（Backend-as-a -Service,Baas)和LLMOps。后端即服务是一种云服务模式，通过提供预构建的后端功能如用户认证、数据库管理、文件存储，使开发者能够专注于前端开发，无需自行搭建和维护后端基础设施。核心包括模块化服务提供即插即用的API接口；降低开发成本减少后端代码编写量，缩短开发周期。可扩展支持按需扩展资源。
LLMOps(Large language Model Operations)是针对大语言模型全生命周期管理框架，涵盖开发、部署、监控和优化等环节。关键组成部分包括模型训练与微调、应用开发和部署、监控与合规
作用：快速搭建生产级的生成式AI应用
优势：提供了一套易用的界面和API，为开发者节省重复工作，专注创新和业务。
Dify能做什么：创业、将LLM集成至已有业务、作为企业级LLM基础设施
Dify和其他的工具比较：

参考文档：
https://github.com/langgenius/dify/blob/main/README_CN.md

Dify安装

系统要求

配置项	要求
CPU	>=2核
RAM	>=4G

环境要求

安装docker及docker compose

docker：

sudo yum install -y yum-utils
sudo yum-config-manager \
--add-repo \
http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# 安装 最新 docker
sudo yum install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

# 启动& 开机启动docker； enable + start 二合一
systemctl enable docker --now

# 配置加速
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
    "registry-mirrors": [
        "https://mirror.ccs.tencentyun.com",
        "https://docker.m.daocloud.io"
    ]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker
#查看安装的版本
docker --version 

docker compose:

sudo curl -L "https://github.com/docker/compose/releases/download/v2.27.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose 
sudo chmod +x /usr/local/bin/docker-compose
Docker compose --version 

下载dify

下载地址：https://github.com/langgenius/dify/tags

上传dify压缩包并解压

启动dify

进入到dify解压包docker目录,具体位置以实际为准；复制 .env.example 为.env，是dify的环境配置。

cd   /opt/dify/dify-1.9.0/docker
cp .env.example .env

使用docker compose 启动docker-compose.yaml文件

docker compose up -d

等待安装完成即可，由于安装的相关工具比较多如RAG、kinbana等。

自定义配置

详情请参考官方文档 https://github.com/langgenius/dify/blob/main/README_CN.md

安装完成

使用docker images查看镜像下载了postgres、dify-api、dify-web、squid、nginx、weavivate向量数据库

修改配置

直接访问会报错502 gateway,需要修改dify下面的docker/nginx的配置/opt/dify/dify-1.9.0/docker/nginx/conf.d,下面的两个文件。

default.conf:

api:5001和web:3000替换为docker-api-1、docker-web-1的实际ip地址，使用以下命令查询：

docker inspect -f '{{.Name}} - {{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' $(docker ps -aq)

找到docker-api-1和docker-web-1的ip地址，修改default.conf和default.conf.template配置文件；修改完成后重启nginx，注意不要改错了。

如果还有其他问题请查看防火墙或者网络！

访问

安装完成后，在浏览浏览器上访问 http://ip地址:80/install 进入 Dify 控制台并开始初始化安装操作。设置管理员账号和密码。下面就可以开始你的探索了！