【代码】【大模型】大模型微调（中）

RLHF 通常包括以下三大阶段：Rϕ​xy)xyLRM​−∑​logσRϕ​xybetter​−Rϕ​xyworse​)πθ​xπθ​yrRϕ​xy)LPPO​θEt​minrt​θAt​cliprt​θ1−ϵ1ϵAt​]At​ϵLLPPO​−βKLπθ​∥πref​]ϵβ。

工作室 主要功能：用于创建、管理和查看你的所有 AI 应用（如聊天助手、生成文本器、Agent、工作流等）操作特点：支持通过从模板、新建空白或导入 DSL 文件等路径创建设备；还可通过搜索、滤镜快速定位已创建的应用 知识库 功能定位：构建并管理 RAG 管道的核心组件。可以上传文档、添加元数据，为 AI 应用提供“检索增强生成”的上下文使用流程：创建知识库 → 管理文档与元数据 → 设置召回策略

动作价值函数（Action-Value Function）定义 Q 函数Qπ(s,a)=Eπ[∑t=0∞γt rt+1 ∣ s0=s, a0=a]Q^\pi(s,a) = \mathbb{E}_\pi\bigl[\sum_{t=0}^\infty \gamma^t\,r_{t+1}\,\big|\,s_0=s,\,a_0=a\bigr]Qπ(s,a)=Eπ​[t=0∑∞​γtrt+1​​s0​=s

如果重启失败，则检查操作系统其他位置（如：/etc/sysconfig/docker、/etc/default/docker）是否配置了 registry-mirrors 参数，删除此参数并重启容器引擎即可。当 Registry Mirrors 字段的地址为加速器的地址时，说明加速器已经配置成功。推荐安装1.11.2以上版本的容器引擎客户端。针对容器引擎客户端版本大于1.11.2的用户。以root

MMTEB的研究成果为嵌入模型的选型提供了一种全新的评判标准，打破了“模型越大越优”的固有观念。无论是对预训练数据的多语种覆盖要求，还是对指令微调带来的性能提升，这项研究都强调了科学评测的重要性。未来，随着多语言应用需求的不断增加，这种以任务导向、成本敏感为核心的评测体系必将推动整个行业向更高效、更精准的方向发展。总之，MMTEB不仅为开发者提供了一份详尽的嵌入模型能力图谱，也为全球多语言RAG系

类别核心组件训练目标典型任务生成能力纯 Encoder 模型Encoder 堆叠双向上下文理解分类、实体识别、语义匹配无纯 Decoder 模型Decoder 堆叠自回归文本生成文本生成、代码生成强Encoder-Decoder 模型输入到输出的映射翻译、摘要、生成式问答中等。

微调（Fine-tuning）是一种迁移学习的方法，通过在已有的预训练模型基础上，利用目标任务的少量标注数据对模型进行二次训练，使其更好地适应特定任务的需求。，预训练的模型通过在特定任务上使用带标注的数据进行微调，以适应具体任务的要求。在微调过程中，模型通过接触任务特定的数据和标签，进一步调整和优化模型的参数，使其更好地适应任务的特定特征和要求。微调是连接大规模预训练与实际下游任务的关键环节，通过

Thought（思考链路）：模型的中间推理过程，用于决策下一步做什么。Action（动作指令）：模型直接发出对外部工具或 API 的调用请求。（观察结果）：Agent 工具执行后的即时反馈。通过多轮 Thought–Action–Observation 循环，最终由模型给出回答。名称版本：0.2.1仓库作用：通过 HTTP 的 SSE（Server‑Sent Events） 或 Streamabl

定义：工具（Plugin）是连接 LLM 与外部世界的桥梁，封装了网络请求、计算服务、文件处理等功能，扩展了模型的能力。分类第一方工具：由 Dify 官方提供并维护，支持搜索、图像、计算等常见需求。自定义工具：基于 OpenAPI/Swagger 或 OpenAI Plugin 规范导入的任意第三方服务。MCP 工具：符合 Model Context Protocol（MCP）规范的外部工具服务器