MLM: mask language modelNSP: 去判断两个句子之间的关系BERT在预训练时使用的是大量的无标注的语料（比如随手可见的一些文本，它是没有标注的）。所以它在预训练任务设计的时候，一定是要考虑无监督来做，因为是没有标签的。对于无监督的目标函数来讲，有两组目标函数比较受到重视，第一种是 AR模型，auto regressive，自回归模型。只能考虑单侧信息，典型的就是GPT。另一

BERT整体模型架构

由此我们可以得到，在假设对于n-1阶矩阵结论成立的情况下，能够推出对于n阶矩阵结论仍然成立，又对于1阶矩阵结论显然是成立的。根据假设，对于任意n-1阶矩阵，全部顺序主子式大于0能够得到该矩阵正定，所以。是对称矩阵，这是研究二次型的必然要求，将二次多项式转换成。的行列式为该矩阵的元素值，该矩阵的顺序主子式只有1个，即。，即正定矩阵的所有特征值全大于0，自然，行列式的值。的形式的时候，交叉项的系数可以

文章目录什么是流水线？流水线的分类流水线的性能指标流水线设计中的若干问题非线性流水线的调度单功能非线性流水线的最优调度多功能非线性流水线的调度一条经典的5段流水线相关与流水线冲突结构冲突：因硬件资源满足不了指令重叠执行的要求而发生的冲突；数据冲突：当指令在流水线中重叠执行时，因需要用到前面指令的结果而发生的冲突；控制冲突：流水线遇到分支指令或其它会改变PC值的指令所引起的冲突。预测分支失败预测分支

导数的两大特性：导数的介值性（达布定理）。导数无第一类间断点。1. 达布定理（导数介值定理）若函数 fff 在 [a,b] 上可导，且 f+′(a)≠f−′(b)f_+'(a) \neq f_-'(b)f+′​(a)=f−′​(b)，kkk 为介于 f+′(a), f−′(b)f_+'(a) ,\f_-'(b)f+′​(a), f−′​(b) 之间的任一实数，则至少存在一点