线程调度器是一个操作系统服务，它负责为Runnable状态的线程分配CPU时间。一旦我们创建一个线程并启动它，它的执行便依赖于线程调度器的实现。溢出即计算机无法表示数值。上溢是指数值绝对值大于表示范围，下溢是指计算机无法提供有效精度表示数值。

这是只有编码器的transformer训练的第一个任务，训练它阅读维基百科的文章（不包括目录前边的开头部分），前边的开头部分作为训练数据的标签。GPT-2就是使用wikipedia的文章进行训练的，因此训练好的模型可以直接拿来做摘要。GPT-2到这里就介绍完了。本文对GPT-2以及它的父模型（只有解码器的Transformer结构）的探索。我希望你在读完这篇文章后，对自关注力机制有了更深入的理解，