在训练模型过程中，如果是利用一条一条的数据进行训练的话，收敛速度太慢，所以通常是小批量数据送入模型，然后反向梯度训练模型，那么要达到此效果，就必须利用pytorch提供的Dataloaders数据加载器不断的小批量输出数据给模型，而Dataloader加载器中有一个参数是Dataset，所以必须先初始化Dataset，然后利用Dataset初始化Dataloader。还有一些隐藏的组成，比如每个神

随着aigc的火热，各大厂商开始提供他们自己的api服务，诸如openai、google、等，还有的直接开源出自己的模型，放到Huggingface提供使用，而LangChain就是一个基于语言模型开发应用程序的框架，它可以很方便的去调用不同公司的api，以及huggingface的资源，为人们提供统一的开发标准，降低开发难度。

Model I/O模块其实就是提供了语言模型的基础构建接口，那既然是提供构建的接口，我们首先要知道，构建一个模型到底需要哪一些部分。官方给出了一个图例如下：从上面可以看出，在整个工作的流程中，数据通过一定的格式（Format）组织起来，送入到模型中进行预测（Predict），最后将预测结果进行解析（Parse）输出。输入部分语言模型构建部分输出部分。

当下，最火的人工智能无疑就是生成式大模型，包括纯大语言模型和多模态模型，所以本次也抱着学习的态度，以大模型发展的时间线来对主要节点的一些生成式语言模型的论文进行分享(论文和分享内容会动态更新)。

从上面来看，比对的完全是具体的翻译内容，这样，如果我输入"美丽"这个词，最相似的肯定是带有"美丽"的案例 ，但是这样显然是不对的，我们需要匹配的内容，其实和翻译的案例没关系，而是和种类有关系，最直觉的方法就是在案例中加入种类信息。这样匹配的时候就考虑到了翻译种类的信息，但是，我们虽然在案例上加入了种类信息，麻烦的地方是输入的时候我们只能输入变量，而种类信息我们是把他定义到了partial变量中，除

Model I/O模块其实就是提供了语言模型的基础构建接口，那既然是提供构建的接口，我们首先要知道，构建一个模型到底需要哪一些部分。官方给出了一个图例如下：从上面可以看出，在整个工作的流程中，数据通过一定的格式（Format）组织起来，送入到模型中进行预测（Predict），最后将预测结果进行解析（Parse）输出。输入部分语言模型构建部分输出部分。

在训练模型过程中，如果是利用一条一条的数据进行训练的话，收敛速度太慢，所以通常是小批量数据送入模型，然后反向梯度训练模型，那么要达到此效果，就必须利用pytorch提供的Dataloaders数据加载器不断的小批量输出数据给模型，而Dataloader加载器中有一个参数是Dataset，所以必须先初始化Dataset，然后利用Dataset初始化Dataloader。还有一些隐藏的组成，比如每个神

前言本文仅作一个备忘录，不详细说明word2vec的两种词袋模型（skip-gram和CBOW),后面的记录默认是在skip-gram的基础下完成，即是利用中心词来预测上下文;同时也不涉及数学的推导计算，仅是做一些我认为比较重要的知识纪要。word2vec是什么？word2vec通常是一种进行文本的向量提取的技术，利用单词的共现（共同出现，后续会有详细记录）思想，通过对文本语料库进行训练，得到的每

在训练模型过程中，如果是利用一条一条的数据进行训练的话，收敛速度太慢，所以通常是小批量数据送入模型，然后反向梯度训练模型，那么要达到此效果，就必须利用pytorch提供的Dataloaders数据加载器不断的小批量输出数据给模型，而Dataloader加载器中有一个参数是Dataset，所以必须先初始化Dataset，然后利用Dataset初始化Dataloader。还有一些隐藏的组成，比如每个神

上图就是bert利用了transforemr的编码器结构，从最底层的结构可以看出，E2为原始的单词输入，最中输出的的E2对应的embedding向量T2其实已经综合考虑了上下文信息，因为在神经网络(编码器)内部，信息是交叉，而且特别的是，这个编码器结构恰好实现了和ELMo一样的效果，既能看到单词左边的信息，也能看到单词右边的信息，这就是自注意力的好处。官方虽然没说，但是官方的图展示了，句子的结尾其