实验的话我们就只对DPO进行测试了。使用B站的Index-1___9B-Chat模型在HF上随便找了一个关于unsloth的数据集进行了一下测试，数据集如下：是一个关于unsloth的问答，jsonl格式，每行都有prompt、chosen、rejected字段。训练过程结果如下：loss下降还是可以的，测试了几个用例输出，相较之前回答会不一样，有一点点变好吧。因为我们只有50条数据，且DPO之类

从零开始实现强化学习代码

无法连接到远程扩展主机服务器 (错误: CodeError(AsyncPipeFailed(Os { code: 2, kind: NotFound, message: “No such file or directory” })))原文链接：https://blog.csdn.net/m0_51715487/article/details/142993242。解决方法：把服务器主机中.vscod

CUDA_VISIBLE_DEVICES 不能与DeepSpeed一起使用来控制应该使用哪些设备。，DS中的WarmupLR也就相当于HF的参数lr_scheduler_type：constant_with_warmup，参数默认。有一个问题就来了，如果两边都配置了的话，会默认使用那个呢？这个问题困扰了我很久，直到看到源码：如下所示，核心便是其Zero策略，ZeRO训练支持了完整的ZeRO Sta

一个MOE主要由两个关键点一是将传统Transformer中的FFN（前馈网络层）替换为多个稀疏的专家层（Sparse MoE layers）。每个专家本身是一个独立的神经网络，实际应用中，这些专家通常是前馈网络 (FFN)，但也可以是更复杂的网络结构。二是门控网络或路由：此部分用来决定输入的token分发给哪一个专家。可能有对FFN（前馈网络层）不太熟悉的小伙伴可以看一下下面的代码及图例，很简单

基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF) 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步，它可以确保语言模型的输出符合人类在闲聊或安全性等方面的期望。但传统的RLHF比较复杂，且还需要奖励模型，故DPO方法被提出，其将现有方法使用的基于强化学习的目标转换为可以通过简单的二元交叉熵损失直接优化的

引入可学习的参数可以增加模型的复杂性，但同时也可能提高模型的泛化能力和性能。在设计模型时，需要权衡模型的复杂度和训练的难度。，可以为每个维度引入一个可学习的缩放参数。这可以通过创建一个与输入维度相同的权重矩阵来实现，而不是一个向量。可以设计一个自定义的归一化函数，其中包含可学习的参数。在归一化之后，可以引入一个可学习的激活函数，其参数也可以是可训练的。类中，引入可学习的参数，以增强模型的表达能力和

但是经常会报连接错误等问题，所以我们可以去huggingface官网下载好数据集，然后直接用数据集路径替换。的数据，手动将data文件夹下的文件全部下载，然后保存在本地一个文件夹中，替换上述的。

在机器学习术语中，FP32 称为全精度 (4 字节)，而 BF16 和 FP16 称为半精度 (2 字节)。除此以外，还有 Int8 (INT8) 数据类型，它是一个 8 位的整型数据表示，可以存储282^828个不同的值 (对于有符号整数，区间为 [-128, 127]，而对于无符号整数，区间为 [0, 255])。

以上述代码为例，我们在定义自己深度学习模型时，会有训练参数、常规配置参数、验证参数等，所以我们可以分好几个dataclass类，使用上述代码去分配。终于，我们可以介绍HfArgumentParser了，这个用法主要常见于一些深度学习的代码，而且是在参数的定义中。该方法返回的是一个元祖，若你只需要返回一个，则应使用下述方法，将上述代码对应行数修改一下即可。是一个数据类，一般用于对数据的定义，他会默认