语言模型预训练已被证明对改善许多自然语言处理任务是有效的，现有有两种策略可以将预先训练好的语言表示应用到下游任务中：基于特征的策略和微调策略。这两种方法在训练前具有相同的目标函数，它们使用单向语言模型来学习一般语言表示。作者认为，目前的技术限制了预训练表示的能力，特别是对于微调方法。主要的限制是标准语言模型是单向的，这限制了在预训练过程中可以使用的架构的选择。在问题回答中，从两个方向合并上下文是至