【代码】数据可视化。

这节课介绍了分词器 Tokenization 的作用和分类。

本节课介绍了如何利用资源，包括内存（GB）和计算（FLOPs），以及模型中的张量，参数，优化器和混合精度训练等内容。

本节课介绍了大模型架构不同模块的各种变体，超参数的设置，稳定模型训练的技巧，以及减少计算资源使用的一些方法；

这节课讲解的是 MoE 架构（混合专家模型，Mixture of Experts）

现今很多后训练流程仍然是基于 Instruct GPT 论文的，构建一个遵循指令的模型需要三步流程。

注意：1. 迭代器是会被耗尽的 2. 返回的是迭代器。注意：使用无参构造函数时，它都会创建该类型的默认值。

注意此代码中的 add_images 而不是 add_image，因为 imgs 包含多张图片。如果 Dataset 大小不能被 batch_size 整除，则设置为。可在每个 epoch 重新排列数据（默认为。以丢弃最后一个不完整的批次；每次加载多少个样本（默认为。用于数据加载的子进程数量。表示数据将在主进程中加载；

注意此代码中的 add_images 而不是 add_image，因为 imgs 包含多张图片。如果 Dataset 大小不能被 batch_size 整除，则设置为。可在每个 epoch 重新排列数据（默认为。以丢弃最后一个不完整的批次；每次加载多少个样本（默认为。用于数据加载的子进程数量。表示数据将在主进程中加载；

-----B站《刘二大人》