在传统的分类任务中，我们通常使用one-hot编码来表示标签，即目标类别的概率为1，其他类别的概率为0。下面创建训练一个Epoch的核心函数，遍历每个批次的数据，前向传播，计算损失，反向传播以及更新梯度。在模型训练的初始阶段，由于参数是随机初始化的，梯度通常也比较大，因此需要使用较小的学习率使得训练较为稳定。使用Adam优化器，Adam是一种基于一阶梯度的优化算法，结合了动量和RMSprop思想，

所以更适合处理摘要生成，翻译等任务。解码器最后的输出需要经过全连接层，将最后一个DecoderLayer的输出映射成词表大小的向量，再经过Softmax得到词表中每个词的预测概率，概率最大的即为预测的词。Generator就是最后的模型输出部分，是最后的输出部分，经过一个标准线性变化，输入维度为，输入维度为 ，再经过Softmax，得到词表中每个词的概率。这里将子层也单独抽象成一个类表示，因为不管

关于Function call，即函数调用功能，它允许开发者在调用模型时，详细说明函数的作用，并使模型能够智能地根据用户的提问来输入参数并执行函数。在终端中，让我们输入以下指令，来创建一个名为lmdeploy的conda环境，python版本为3.10，创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。让我们回到LMDeploy，在最新的版本中，LMDeploy使用的是AWQ算法，

RAG正是这种方式。对于LLM来说，这几乎总是意味着创建向量嵌入，即你的数据含义的数值表示，以及许多其他元数据策略，使其易于准确找到上下文相关的数据。给模型注入新知识的方式，可以简单分为两种方式，一种是内部的，即更新模型的权重，另一个就是外部的方式，给模型注入格外的上下文或者说外部信息，不改变它的的权重。第一种方式，改变了模型的权重即进行模型训练，这是一件代价比较大的事情，大语言模型具体的训练过程

因此，padding部分是不带有任何语义，也不需要参与注意力计算的，所以需要在计算注意力的得分之前，将padding部分mask掉，通常是将padding位置的得分设为一个非常大的负数，通过softmax后，这些位置的权重接近于0，从而不影响实际有效的token序列。在Embedding的时候，一个token是embbeding成维的向量，如果输入的token长度为4096，一个token emb

APIAPI(Application Programming Interface),应用程序编程接口。Java API是一本程序员的 字典， 是JDK中提供给我们使用的类的说明文档。这些类将底层的代码实现封装了起来，我们不需要关心这些类是如何实现的，只需要学习这些类如何使用即可。所以我们可以通过查询API的方式，来学习Java提供的类，并得知如何使用它们。...

JSP：入门学习1. 概念：* Java Server Pages： java服务器端页面* 可以理解为：一个特殊的页面，其中既可以指定定义html标签，又可以定义java代码* 用于简化书写！！！2. 原理* JSP本质上就是一个Servlet3. JSP的脚本：JSP定义Java代码的方式1. <%代码 %>：定义的java代码，在service方法中。service方法中可以定义