LLaMA-Factory是一个微调框架。

群体相对策略优化（GRPO）算法最初由deepseek团队提出，是近端策略优化(PPO)的一个变体。GRPO 是一种在线学习算法，它通过使用训练过程中已训练模型自身生成的数据进行迭代改进。GRPO 目标背后的逻辑是在确保模型与参考策略保持接近的同时，最大化生成的completion的优势。DeepSeek团队在使用纯强化学习 训练 R1-Zero 时观察到了一个“aha moment”。该模型学会

写完后端项目后，部署到服务器的步骤...

LLaMA-Factory是一个微调框架。

群体相对策略优化（GRPO）算法最初由deepseek团队提出，是近端策略优化(PPO)的一个变体。GRPO 是一种在线学习算法，它通过使用训练过程中已训练模型自身生成的数据进行迭代改进。GRPO 目标背后的逻辑是在确保模型与参考策略保持接近的同时，最大化生成的completion的优势。DeepSeek团队在使用纯强化学习 训练 R1-Zero 时观察到了一个“aha moment”。该模型学会

【代码】调用大模型api，实现基于rag的回复。

然后将md文件上传到easydataset，easydataset会将其拆分成若干个片段，并针对每个片段生成若干个问题，最后再对每个问题进行回答，问答对就完成了。原理是通过将文档片段发送给ollama本地模型，然后本地模型生成有关问题，并基于文档片段回答问题。进入easydataset的运行界面，新建项目，会被要求添加模型。ollama安装就不赘述了，easy-dataset是一个前端项目，只需要

网上其实并没有找到现成的开源越狱数据集，所以数据集获取是个麻烦事。想了想easydataset，可能还是不行，easydataset是基于大模型回答的，大模型一般都做了对齐训练，那本地文档生成数据这条路也不可靠。该仓库里分享了大量越狱实验的问答记录，针对不同模型，不同越狱攻击方式，不同越狱问题类型都有记录，而且有标记那些记录是越狱成功那些越狱失败（通过jailbroken字段）英语的越狱似乎还不错

然后将md文件上传到easydataset，easydataset会将其拆分成若干个片段，并针对每个片段生成若干个问题，最后再对每个问题进行回答，问答对就完成了。原理是通过将文档片段发送给ollama本地模型，然后本地模型生成有关问题，并基于文档片段回答问题。进入easydataset的运行界面，新建项目，会被要求添加模型。ollama安装就不赘述了，easy-dataset是一个前端项目，只需要

在支持自定义脚本的插件中（tampermonkey或者scriptcat），新建脚本，删除新建脚本里自带的所有的字符，再把上述代码粘贴进去，保存，就算安装成功了。脚本如何使用，参考代码注释。