以训练一个70B的模型为例，仅仅加载这四个模型的权重就需要超过500GB的显存（FP16精度），这还没加上维护优化器状态和梯度值的存储显存，如何高效地在多GPU节点间切分这四个模型，成为了区分各框架架构优劣的关键因素。：在经典的RLHF流程中，经验数据生成耗时占训练周期 80%-90%的时间，而传统训练框架将生成与训练阶段耦合在同一计算流，会导致模式频繁切换，既造成显存碎片化，也生成阶段的推理效率