注册流程切换中文​邀请码：XcgtUixn。

本章节包含在上一章中，学习了多头注意力机制并对其进行了编码，它是LLMs的核心组件之一。在本章中，将编写 LLM 的其他构建块，并将它们组装成类似 GPT 的模型​。

蓝耘算力云平台和AutoDL的使用非常类似，可以说几乎是一模一样下面这个是我的注册码，第一次注册填写后会送20的券创建GPU实例注册完成后进入容器云市场创建自行选择是否扩容数据盘（免费50G）,选择镜像后点击立即购买立即购买后，会出现以下提示，点击确定​​点击确定后等待开机，当开机状态为运行中，则可以连接了,这里我之前已经有实例了，就不新开了。

本文介绍了GPT-2模型的指令微调过程。

贝叶斯优化的python 模块-hyperopt

本章节包含在上一章中，学习了多头注意力机制并对其进行了编码，它是LLMs的核心组件之一。在本章中，将编写 LLM 的其他构建块，并将它们组装成类似 GPT 的模型​。

但在大语言模型中，还使用了GELU和SwiGLU这两种更复杂、平滑的激活函数，它们结合了高斯和sigmoid门控，提升了模型性能，与ReLU的简单分段线性不同。它通过内部扩展嵌入维度到更高空间，如下图所示，然后应用GELU激活，最后收缩回原维度，以探索更丰富的表示空间。上述的前馈模块是包含两个线性层和一个GELU激活函数的小神经网络，在1.24亿参数的GPT模型中，用于处理嵌入大小为768的令牌批

本章从宏观视角介绍了 DummyGPTModel，使用占位符表示其构建模块，随后用真实的 TransformerBlock 和 LayerNorm 类替换占位符，组装出完整的 1.24 亿参数 GPT-2 模型，并计划在后续章节进行预训练和加载 OpenAI 的预训练权重，同时通过下图 展示了结合本章所有概念的 GPT-2 整体结构。如我们所见，输出张量的形状为 [2, 4, 50257]，因为我

它的功能是将𝐾个输出节点的值转换为概率，并保证概率之和为 1。可以看到，上式是概率值?𝑖和1 − 𝑝 的相乘，…个节点的输出经过softmax后的输出概率。因此交叉熵损失函数的偏导数可以进一步简化为。& 根据softmax偏导数表达式：\。完成交叉熵损失函数的梯度推导。交叉熵损失函数表达式。

在 ReLU 函数被广泛应用之前，神经网络中激活函数采用 Sigmoid 居多，但是 Sigmoid 函数容易出现梯度弥散现象，当网络的层数增加后，较前层的参数由于梯度值非常微小， 参数长时间得不到有效更新，无法训练较深层的神经网络，导致神经网络的研究一直停留 在浅层。随着 ReLU 函数的提出，很好地缓解了梯度弥散的现象，神经网络的层数能够地 达到较深层数，如 AlexNet 中采用了 ReLU