- 在AES领域，预训练的语言模型没有被很适合地应用，来超过比如LSTM之类的深度学习方法。- 本文介绍了一个新的基于BERT的多规模的文本表示模型，它能够被联合学习。我们也应用了多损失和来自其他领域文章的迁移学习来进一步提升性能。- 本文的方法在ASAP数据集上取得了state-of-the-art的结果，并且提出的多规模文本表示在CRP数据集上的泛化结果也很好。