奖励模型构建（RM）： 由于我们希望根据人类偏好优化模型，但又因为成本和延迟，在强化学习训练期间无法与人类进行交互查询，所以我们首先训练一个单独的模型（通常与微调语言模型架构类似，核心是在LLM最后一层(hidden state)添加一个线性层，输出一个标量表示在提示语境下给定相应的预测奖励或偏好分数，规模可大可小一般来说是使用比RL策略模型大得多的，可以提供质量更好的奖励信号）来预测人类偏好，这

的左奇异向量和右奇异向量，它们构成了矩阵作用空间的正交基。在几何上，右奇异向量是矩阵的输入空间的特征方向，它们描述了矩阵在这些方向上对输入向量的作用。左奇异向量是输出空间的特征方向，表示矩阵在输出空间中将输入向量映射到的结果方向.它们确保了 SVD 分解在高维空间中依然能够精确地描述矩阵的行为。尤其是在维度压缩、特征提取等问题中，右奇异向量对应于数据的主方向，而左奇异向量则对应于数据在新空间中的主

模型开发者只需专注于模型结构的设计，无需关心底层分布式训练的具体实现细节。‌资源抽象‌：对于模型开发者而言，整个计算集群被抽象为一个具有超大内存和强大算力的"单设备"。通过引入GShard概念，开发者只需对关键张量（Tensor）进行切分策略的标注，即可实现分布式训练‌。

GPT-2 有 15 亿参数，比原 GPT 大了 10 多倍，在受测的 8 个语言模型数据集上拿了 7 个 SOTA，采用 **零尝试迁移配置（zero-shot transfer setting）**不需要任何任务微调。175B的参数将GPT3展示出强大的上下文学习能力（In-context Learning），即在推理阶段，不需要更新模型权重，仅凭输入提示中给出的少量示例，就能理解并完成任务。