这节课介绍了分词器 Tokenization 的作用和分类。

本节课介绍了如何利用资源，包括内存（GB）和计算（FLOPs），以及模型中的张量，参数，优化器和混合精度训练等内容。

本节课介绍了大模型架构不同模块的各种变体，超参数的设置，稳定模型训练的技巧，以及减少计算资源使用的一些方法；

这节课讲解的是 MoE 架构（混合专家模型，Mixture of Experts）

现今很多后训练流程仍然是基于 Instruct GPT 论文的，构建一个遵循指令的模型需要三步流程。

注意：1. 迭代器是会被耗尽的 2. 返回的是迭代器。注意：使用无参构造函数时，它都会创建该类型的默认值。

注意此代码中的 add_images 而不是 add_image，因为 imgs 包含多张图片。如果 Dataset 大小不能被 batch_size 整除，则设置为。可在每个 epoch 重新排列数据（默认为。以丢弃最后一个不完整的批次；每次加载多少个样本（默认为。用于数据加载的子进程数量。表示数据将在主进程中加载；

注意此代码中的 add_images 而不是 add_image，因为 imgs 包含多张图片。如果 Dataset 大小不能被 batch_size 整除，则设置为。可在每个 epoch 重新排列数据（默认为。以丢弃最后一个不完整的批次；每次加载多少个样本（默认为。用于数据加载的子进程数量。表示数据将在主进程中加载；

-----B站《刘二大人》

Week 1 1.1 Neural networks Model 几个概念：输入、隐藏、输出层，激活值，特征向量 x； 神经网络在图像识别中的作用：从细节组合到特征，再从特征组合成完整的图像； Layers 方括号内的值 i 表示这是与第 i 层有关的数据，上一层的输出就是下一层的输入； Tensor 注意：两层括号代表的才是二维张量； 1.2 Forward Propagation 前