00_大模型概述-低代码平台 Agent 开发与部署导论
00 大模型概述 —— 低代码平台 Agent 开发与部署导论
一、大模型是什么
1.1 大语言模型（LLM）定义
大语言模型（Large Language Model, LLM）是基于 Transformer 架构、在海量文本数据上预训练、通常拥有千亿级以上参数的深度学习模型。它的核心能力包括：
- 文本生成：根据 Prompt 生成连贯、有逻辑的自然语言文本
- 理解与推理：理解复杂指令，执行逻辑推理、数学计算、代码编写
- 多轮对话：在上下文中保持话题一致性，完成长对话任务
关键概念速览：
| 概念 | 说明 |
|---|---|
| Token | 模型处理文本的最小单元，一个汉字约 1-2 个 Token |
| Prompt | 用户输入给模型的指令或问题 |
| Context Window | 模型一次能"看到"的最大 Token 数（如 128K、1M） |
| Temperature | 控制输出随机性的参数（0=确定性，1=高创造性） |
代表性模型：GPT-5、Claude 4.x、DeepSeek-V4、Qwen3、豆包、文心一言、Kimi、Gemini 等。
1.2 市面常见应用场景
大模型已渗透到各行各业，以下是当前最主要的应用方向：
- 智能客服 —— 自动应答、意图识别、工单分类，替代传统规则引擎
- 内容生成 —— 营销文案、产品海报、宣传视频脚本、卖点提炼
- 知识库问答 —— 基于企业私有文档的专业知识检索与问答（RAG 模式）
- 数据分析 —— 评论情感分析、客服对话复盘、舆情监控
- Agent 自主任务 —— 多步骤自主规划与执行（自动调研、信息收集、工具调用）
- 代码辅助 —— 代码生成、Bug 定位、代码审查
- 办公自动化 —— 邮件处理、会议纪要、钉钉/飞书机器人集成
1.3 本课程覆盖的应用场景
本课程围绕电商与商户运营场景，完整覆盖从知识库搭建到企业级部署的全链路：
| 应用场景 | 对应课件 | 落地形式 |
|---|---|---|
| 知识库问答 | 01 | Cherry Studio / ima / Dify 知识库 |
| Agent 搭建与平台选型 | 02 | Coze / Dify 智能体开发 |
| 内容生成（海报/视频/卖点） | 03 | Coze 多工作流联动 |
| 数据分析（评论/对话） | 03 | Coze + Dify 双平台 |
| 自动调研报告 | 03 | Dify 搜索 + 迭代工作流 |
| 钉钉机器人集成 | 03 | Dify + 钉钉 Webhook |
| API 编程集成 | 04 | Python SDK / REST API |
| 私有化部署 | 05, 06 | Docker / 云服务器 + GPU |
二、文档用途与定位
- 学习地图：串联6个主题章节，建立从理论到上线的完整认知
- 选型参考：对比 Cherry Studio、ima、Coze、Dify、n8n 等平台的适用场景
- 快速索引：提供案例对照表，按业务需求快速定位到对应课件
三、技术栈全景概览
本课程涉及的技术栈分为四大板块：
| 板块 | 技术 / 平台 | 用途 |
|---|---|---|
| 大语言模型 | DeepSeek、豆包、硅基流动、火山方舟 | 云端模型 API 调用 |
| Qwen3（通过 vLLM/Ollama 部署） | 本地/私有模型推理 | |
| bge-small-zh-v1.5、bge-reranker-base | 嵌入与重排序 | |
| 低代码平台 | Cherry Studio | 桌面级个人知识库 |
| ima（腾讯） | 多端同步个人知识库 | |
| Coze（扣子） | 零代码 Agent + 工作流编排 | |
| Dify | 开源 LLM 应用开发平台（RAG + Agent + Workflow） | |
| 部署运维 | Docker / Docker Compose | 容器化部署 |
| Xinference | 模型托管平台（统一管理 LLM/Embedding/Rerank） | |
| vLLM | 高性能推理引擎（PagedAttention 优化） | |
| Coze Studio + Coze Loop | 开源 AI Agent 开发与运维套件 | |
| 开发工具 | Python + cozepy | Coze 平台编程调用 |
| Python + requests | Dify 平台 API 调用 | |
| SSE（Server-Sent Events） | 流式响应处理 |
四、课程学习路径总图
本课程按"知道 → 会用 → 能上线"的认知曲线编排，分为四个递进部分：
┌─────────────────────────────────────────────────────────────────┐
│ 00 大模型概述（本文档） │
│ 大模型基础认知 + 应用场景图谱 + 学习路线索引 │
└─────────────────────────────┬───────────────────────────────────┘
│
┌───────────────────────┼───────────────────────┐
▼ ▼ ▼
┌──────────────┐ ┌──────────────┐ ┌──────────────────────────┐
│ Part 1 │ │ Part 2 │ │ Part 3 │
│ 知识库入门 │ │ Agent 开发 │ │ Agent 应用实践 │
│ (01) │ │ (02) │ │ (03) │
├──────────────┤ ├──────────────┤ ├──────────────────────────┤
│ RAG 理论 │ │ Agent 概念 │ │ 7 个商户运营场景案例 │
│ 知识库平台 │ │ 三级能力模型 │ │ Coze + Dify 双平台实现 │
│ 选型与实践 │ │ 平台对比 │ │ 海报/视频/分析/报告/卖点 │
├──────────────┤ ├──────────────┤ ├──────────────────────────┤
│ "建立知识根基"│ │ "掌握开发工具" │ │ "积累实战经验" │
└──────────────┘ └──────────────┘ └──────────────────────────┘
│
▼
┌──────────────────────────┐
│ Part 4 │
│ 企业级部署 │
│ (04 - 06) │
├──────────────────────────┤
│ 04 Python API 编程调用 │
│ 05 Windows 本地部署 │
│ 06 云服务器 + GPU 部署 │
├──────────────────────────┤
│ "实现生产上线" │
└──────────────────────────┘
五、四部分详细内容
Part 1：知识库搭建入门（01）
目标：理解 RAG 原理，掌握个人/企业知识库的搭建方法。
01 RAG — 搭建企业私有 & 个人知识库
核心问题：大模型存在"知识冻结"（训练数据截止日期）和"幻觉"（编造事实）两大痛点。RAG（Retrieval-Augmented Generation，检索增强生成）通过引入外部知识库来解决。
RAG 标准流程：
┌──────────┐ ┌──────────┐ ┌──────────┐ ┌──────────┐
│ 文档导入 │ → │ 文本分块 │ → │ 向量化 │ → │ 向量存储 │
│ │ │ (Chunking)│ │ (Embedding)│ │ (Vector DB)│
└──────────┘ └──────────┘ └──────────┘ └──────────┘
│ 用户提问
┌──────────┐ ┌──────────┐ ┌──────────┐ │
│ LLM 生成 │ ← │ 重排序 │ ← │ 语义检索 │ ←────┘
│ 最终答案 │ │ (Rerank) │ │ (Retrieval)│
└──────────┘ └──────────┘ └──────────┘
三个关键模型节点：Embedding（向量化）、Rerank（精排）、LLM（生成）。
平台选型建议：
| 场景 | 推荐平台 | 理由 |
|---|---|---|
| 个人知识管理 | Cherry Studio / ima | 零门槛、多端同步 |
| 团队协作 + Agent 交付 | Dify | 完整 Workflow 编排 + 权限管理 |
| 企业复杂文档解析 | RAGFlow | 深度文档理解、复杂 PDF/表格 |
动手实践：Cherry Studio 连接硅基流动 API 建知识库 → ima 微信生态多端同步 → Dify 法律助手案例。
Part 2：Agent 智能体工作流平台开发（02）
目标：理解 AI Agent 概念，熟练使用 Coze/Dify 平台开发智能体。
02 基于 Coze & Dify 平台的智能体开发
核心问题：什么是 AI Agent？它与单纯的 LLM 对话有什么区别？
AI Agent 定义：以 LLM 为"大脑"，结合**记忆（Memory）、工具调用（Tool Use）、规划（Planning）、行动（Action）**的自主软件系统。
Agent 三级能力模型：
Level 1: 提示词立人设 ──→ Level 2: 工作流编排 ──→ Level 3: 自主任务拆解
(设定角色+知识库) (定义步骤链) (Agent 自主规划执行)
例：深夜情感主持 例：高考报考指南 例：家庭记账助手
Coze vs Dify vs n8n 平台对比：
| 维度 | Coze（扣子） | Dify | n8n |
|---|---|---|---|
| 用户定位 | 零基础个人/小团队 | 开发者/技术团队 | 开发者/复杂自动化 |
| 核心优势 | 零代码、字节生态 | LLMOps 全链路、开源自托管 | 400+ 集成节点 |
| 学习曲线 | 低（几小时） | 中（1-2 天） | 高（3-5 天） |
| 部署方式 | 云端 + 开源自部署 | 云端 + 私有化 | 自托管 + 云端 |
动手实践：Coze 三大案例（情感主持 / 高考指南 / 家庭记账） + Dify 两大案例（时事评论 / 北京旅行助手） + DeepResearch 前沿应用介绍。
Part 3：Agent 工作流具体应用实践（03）
目标：通过 7 个全流程案例，掌握 Coze/Dify 工作流在实际业务中的落地能力。
03 商户运营管家（7 个全流程案例）
覆盖商户运营的核心场景——从内容生产（海报/视频/卖点）到数据分析（评论/对话）再到外部集成（钉钉推送/调研报告）。
03 商户运营管家（7 个独立案例，可按需跳跃学习）
│
├─ Coze 平台 ────────────────────────────────────────
│ ┌─────────────────┐ ┌─────────────────┐
│ │ 03-01 海报生成 │ │ 03-02 宣传视频 │
│ │ 文生图+图生图 │ │ 三工作流链式调用 │
│ └─────────────────┘ └─────────────────┘
│ ┌─────────────────┐ ┌─────────────────┐
│ │ 03-05 对话分析 │ │ 03-06 评论分析 │
│ │ Excel→LLM 分析 │ │ CSV→Agent+工作流 │
│ └─────────────────┘ └─────────────────┘
│ ┌──────────────────────────────────────┐
│ │ 03-07 卖点提炼（最复杂案例） │
│ │ 5 工作流联动 + 通用→独特→保障三层卖点 │
│ └──────────────────────────────────────┘
│
├─ Dify 平台 ────────────────────────────────────────
│ ┌─────────────────┐ ┌─────────────────┐
│ │ 03-03 投诉分类 │ │ 03-04 调研报告 │
│ │ LLM分类+钉钉推送 │ │ 搜索+迭代+总结 │
│ └─────────────────┘ └─────────────────┘
│
└─ ★ 双平台对比：同场景（对话分析/评论分析）Coze vs Dify 实现
7 个案例一览：
| 编号 | 案例名称 | 平台 | 核心能力 |
|---|---|---|---|
| 03-01 | 产品营销海报生成 | Coze | 文生图/图生图、工作流链式调用 |
| 03-02 | 一键生成商品宣传视频 | Coze | 多工作流协作、分镜生成、变量管理 |
| 03-03 | 客户投诉分类助手-钉钉 | Dify | LLM 分级分类、外部 Webhook 集成 |
| 03-04 | 一键生成行业调研报告 | Dify | 搜索 + 迭代节点 + 结构化输出 |
| 03-05 | 客服对话记录分析 | Coze + Dify | Excel 解析、情感分析、对话总结 |
| 03-06 | 商品评论分析 | Coze + Dify | CSV 解析、Agent+工作流混合架构 |
| 03-07 | 商品营销卖点提炼 | Coze | 5 工作流联动、卖点→买点情绪转化 |
每个案例在 Coze 和 Dify 上均有独立实现，通过对比帮助理解不同平台的优劣势与适用场景。
Part 4：企业级部署（04 - 06）
目标：从平台内部运行到外部系统集成，从云端平台到自有服务器部署。
04 Python 调用平台工作流（打通外部系统）
│
├─ Coze SDK 调用链路
│ 发布 API → 获取 workflow_id + app_id → 创建 API Key
│ → cozepy.workflows.runs.stream() → 迭代 WorkflowEvent
│ → 解析 MESSAGE / ERROR / INTERRUPT 事件
│
└─ Dify API 调用链路
发布工作流 → 查看 API 文档 → 创建 API Key
→ POST /v1/workflows/run → SSE 流式解析
→ 捕获 workflow_finished → 提取 outputs.output
│
▼
05 Windows 本地部署（开发验证环境）
│
├─ Coze 开源套件部署
│ Docker Desktop 安装 → 镜像加速配置 → 下载源码
│ → 模型配置（云端 API / Ollama 本地模型）
│ → docker compose up -d
│ → Coze Studio(localhost:8888) + Coze Loop(localhost:8082)
│
└─ Dify 开源部署
Docker Desktop → git clone → 配置 .env
→ docker compose up -d → localhost 访问
│
▼
06 企业级大模型部署（生产环境）
│
└─ 三层企业架构全景
┌──────────────────────────────────────────────────────┐
│ 用户 / 外部系统 │
└──────────────────────┬───────────────────────────────┘
│ HTTP / API
▼
┌──────────────────────────────────────────────────────┐
│ 应用层：Dify（Docker，腾讯云轻量服务器 4C8G） │
│ · Web UI + API 统一入口 │
│ · 工作流编排 + Agent 管理 + 知识库维护 │
│ · 通过 Xinference 插件对接私有模型 │
└──────────────────────┬───────────────────────────────┘
│ OpenAI-compatible API
▼
┌──────────────────────────────────────────────────────┐
│ 推理层：Xinference（AutoDL GPU 服务器 RTX 4090） │
│ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ │
│ │ LLM 推理 │ │ Embedding │ │ Rerank │ │
│ │ Qwen3-0.6B │ │ bge-small │ │ bge-reranker │ │
│ │ (vLLM 引擎) │ │ -zh-v1.5 │ │ -base │ │
│ └──────────────┘ └──────────────┘ └──────────────┘ │
│ 加速技术：vLLM PagedAttention + 多卡并行 + FlashAttn │
└──────────────────────────────────────────────────────┘
04 Python 调用平台工作流
将 Part 1-3 搭建的 Agent 和工作流，通过编程方式暴露为 API 服务。Coze 使用官方 cozepy SDK 的 Stream 模式，Dify 使用 requests 库处理 SSE 流式响应。这是将低代码平台能力集成到现有业务系统的关键桥梁。
05 低代码平台 Windows 部署
Coze 于 2025 年 7 月开源（Apache 2.0 协议），最低 2 核 CPU + 4GB 内存即可运行。本章涵盖 Coze Studio（可视化开发）+ Coze Loop（评测运维）双组件部署，以及 Dify Docker 部署。Coze Loop 提供 Prompt 开发、Playground 对比、评测集、评估器、实验统计、Trace 追踪等八大运维功能。
06 企业级大模型部署
为什么要自部署？ 数据安全（敏感数据不外传）、成本可控（高频调用不失控）、能力可定制（模型版本/性能自主管控）、运维可观测（QPS/TTPS/GPU 利用率监控）。
三层解耦架构：Dify（应用层，腾讯云 4C8G 轻量服务器）→ Xinference（推理层，AutoDL GPU RTX 4090）→ vLLM（底层加速引擎）。三者通过 OpenAI-compatible API 标准通信，实现应用与推理分离。部署三件套模型：LLM（Qwen3-0.6B）+ Embedding（bge-small-zh-v1.5）+ Rerank（bge-reranker-base）。
更多推荐
4
0- 0
已为社区贡献31条内容
所有评论(0)