post-training 最大的挑战是，模型会可能忘了旧的技能或能力.

原因，后训练的时候，更加关注到了我们想要的技能，而忽略了其他技能。

且forgetting的现象和参数量大小关系不大。

学得多一些，忘得可能多一些，学的少一些，忘的往往也少一些。

微调的时候最好混5%的前一阶段的资料，防止模型遗忘已经学到的知识技能。

如果找不到过去的训练资料的话，可以让给模型一些问题以及部分答案，然后让模型回答答案并顺着继续追问，这样不断生成新的问题和答案，从而得到训练资料。