我们计算了查询矩阵和键矩阵之间的点积，得到了分数，然后使用softmax函数对分数进行了归一化。现在，自注意力机制的最后一步是计算注意力矩阵Z。

对话式AI和生成式AI都是人工智能领域中的重要子领域。它们在主要目标、使用的技术和应用方面各有侧重。下面是这两个子领域的一些主要区别。

下一句预测（NSP）是用于训练BERT模型的另一种有趣策略。NSP是一个二分类任务。在NSP任务中，我们向BERT输入两个句子，它必须预测第二个句子是否是第一个句子的后续（下一句）。让我们通过一个例子来理解NSP任务。