本文对OpenAI团队于2022年发表的论文《Training language models to follow instructions with human feedback》进行解析，并记录自己的理解与体会。该论文提出了InstructGPT模型，通过人类反馈强化学习（RLHF）将大型语言模型与用户意图对齐，是语言模型对齐研究领域的重要里程碑。

本文对OpenAI团队于2022年发表的论文《Training language models to follow instructions with human feedback》进行解析，并记录自己的理解与体会。该论文提出了InstructGPT模型，通过人类反馈强化学习（RLHF）将大型语言模型与用户意图对齐，是语言模型对齐研究领域的重要里程碑。

本实验基于开源项目 MiniMind，在单张 NVIDIA RTX 3090 上，从零开始完整复现了一个参数量仅为 63.91M 的轻量级中文大语言模型。