本文系统阐述了生成式任务的模型架构与训练方法。核心内容包括：1）Encoder-Decoder框架，其中Encoder提取特征，Decoder基于特征生成序列；2）自回归生成原理及其串行输出导致的误差累积问题；3）掩码自注意力机制的关键作用，通过三角矩阵屏蔽未来信息实现并行训练；4）训练与推理的差异：训练时使用真实标签并行计算，推理时需自回归串行生成；5）BART模型的优势，其双向编码器和自回归解

NLP 是计算机科学、人工智能与语言学的交叉学科，通过计算语言学、机器学习、深度学习等技术，将人类语言（文本 / 语音）转化为机器可处理的信号，并输出符合人类逻辑的结果。像Bert，transforer和Bart模型都属于NLP的范畴。

从图像上看，回归是将各个预测点回归拟合一条合适的，loss最小的直线或者曲线；分类是将各个不同种类的数据通过一定的分类划分方法，划分为一类或者几类；从向量上看，回归的向量里面的值是一个值，表明对应元素成为分类结果的概率大小；分类的向量是在回归的基础上做归一化softmax的处理，将概率较大的那个类的值设为1，其余设为0.（这样做的主要目的：由于分类任务是独热编码，向量中哪个值是1，就代表对应的哪一