在强化学习中，策略（Policy）是智能体在给定状态下选择动作的规则，通常记为，表示在状态下采取动作的概率。方法适合场景不适合场景On-Policy需要高稳定性、在线交互可行、策略更新频繁样本获取昂贵、无法存储历史数据Off-Policy样本稀缺、可离线训练、需高样本效率策略差异大导致估计偏差、训练不稳定%24s%24%24a%24。

混合专家模型（Mixture of Experts，MOE）是一种集成学习模型，它由多个专家网络（Expert Networks）和一个门控网络（Gating Network）组成。每个专家网络是一个独立的神经网络，专门用于处理特定类型的数据或任务。门控网络的作用是根据输入数据，动态地决定每个专家网络的权重，即哪些专家网络应该参与当前输入的处理，以及每个专家网络的贡献程度。

智能问答系统已经成为了许多应用场景中不可或缺的一部分，无论是在线客服、智能助手还是知识检索平台，高效准确的问答功能都能极大地提升用户体验和服务效率。而向量数据库 Milvus 的出现，为实现这一目标提供了强大的支持。它能够高效地处理大规模向量数据的存储和检索，使得问答系统在面对海量知识时也能快速找到最相关的答案。

Open WebUI 是一个开源的工具，用于运行和管理大语言模型 (LLM) 及其他人工智能功能。它的主要目的是简化的本地部署和操作，让用户能够方便地通过浏览器界面与各种 AI 模型进行交互。

本文围绕监督微调（SFT）展开，通过对代码的详细解析，介绍了如何基于预训练模型进行 SFT，涵盖模型注册与加载、数据处理组件初始化、训练参数设置以及数据集加载与训练等关键步骤。通过 SFT，能够将通用的预训练模型转化为更适合特定任务和领域的模型，为实际应用提供更强大的支持。在未来的研究和实践中，可以进一步探索不同的微调策略、数据集增强方法以及模型评估指标，以不断提升模型在特定场景下的性能和效果。

 在大模型训练的征程中，数据处理是至关重要的一环，如同为一座大厦奠定坚实的地基。

BM25是信息检索中的一种排序函数，用于估计文档与给定搜索查询的相关性。它结合了文档长度归一化和术语频率饱和，从而增强了基本术语频率方法。BM25 可以通过将文档表示为术语重要性得分向量来生成稀疏嵌入，从而在稀疏向量空间中实现高效检索和排序。Score(D,Q) 是文档 D 与查询 Q 的相关性得分。qi 是查询中的第 i 个词。f(qi, D)是词 qi 在文档 D 中的频率。IDF(qi) 是

使用qwen2.5系列模型在特定任务上进行知识蒸馏，教师模型为qwen2.5-3b（qwen2.5-7b），学生模型为qwen2.5-0.5b，尝试只使用KL散度、微调学生模型加KL散度和不微调学生模型加交叉熵加KL散度等不同思路，并且使用了KL散度不同变种（反向KL散度，偏向前向KL散度，偏向反向KL散度）。在模型蒸馏的方法中，白盒蒸馏能够利用教师模型的内部信息，如中间层的特征表示、概率分布等，

使用 Docker 镜像搭建 Milvus 服务的过程。从 Docker Hub 上拉取了官方提供的 Milvus 镜像，这些镜像已经预先配置好了 Milvus 及其依赖组件；下载必要的启动文件；在启动容器时，通过 Docker 的网络模式设置，为 Milvus 容器分配了独立的网络空间，确保其与外部环境的通信安全且稳定。同时，利用 Docker 的数据卷功能，将 Milvus 的数据存储目录挂载

本文主要介绍GPT模型的训练方法，包括预训练、监督微调、奖励建模和强化学习这四个阶段。不同微调模型具备不同特点，基础模型更富创造力，而强化学习微调后可获得最高质量的回复。在使用GPT的使用，可以利用提示工程技巧，比如提供充足上下文、引导模型步步思考等。当前模型依然存在各种局限，人类应谨慎而有效地将其应用于低风险的协作场景中，不能轻视其潜在风险。总体而言，本文系统地介绍了GPT训练的全流程和具体应用