除了直接增大 LLM 参数量，近期火热的 MoE 架构则提供了更高效实现的可能性，即通过稀疏计算的方式，在不增大实际计算参数量的前提下提高总的模型参数量。但X轴就不一样了，设置成KL散度非常巧妙，因为RL不能像预训练/精调一样用计算量、过的Token数量等，如果RL也用训练时过的Token数量，会有一个问题：预训练和SFT只优化交叉熵损失这一个目标，而RL同时优化总奖励和KL惩罚两个目标，而且这两