MLM任务：Mask Language Model，掩码语言模型。NSP任务：去判断两个句子的关系。BERT在做预训练时，使用的是大量的无标注的预料（随处可见的文本。因为是没有标签（=无标注）的数据进行训练，所以是。

课程学习链接：https://www.bilibili.com/video/BV1hE411t7RN?

课程学习链接：https://www.bilibili.com/video/BV1hE411t7RN?

神经网络可以当做是能够的黑盒子，只要训练数据足够，给定特定的x，就能得到希望的y，结构图如下：详细参考下文（包含基础神经网络结构、各个层的作用等）：https://blog.csdn.net/illikang/article/details/82019945注1：单层感知机把计算放在了输出层神经元上，因此输出层也是计算层。注2：图16Wxy中，x表示输出层神经元编号，x相同表示为线性代数方程里的同