2018年10月，Google发表的一篇论文，论文地址:，该论文中的BERT模型横扫NLP领域11项任务的最佳成绩。而BERT模型中发挥重要作用的结构就是的优势：1.利用分布式GPU并行，提升模型训练效率；分析长文本时捕捉间隔较长的语义关联效果更好。的作用：机器翻译、文本生成、构建预训练语言模型来用于不同任务的迁移学习。

BLEU（Bilingual Evaluation Understudy）是一种用于评估机器翻译和文本摘要等生成式模型任务质量的指标。核心点：BLEU 作为一种评估指标，特别适合用于衡量那些可能存在多个正确翻译结果的任务中的模型精确度。在评估文本摘要模型中，将模型给出的摘要与对应的几条人工摘要文本作比较, 算出来一个综合的分数. 这个综合分数越高说明模型的摘要表现越好。BLEU值范围，两个句子完美