如果你想使用更低版本的Python，如Python3.10，需要安装第三方库才能下载管理其他版本的Python（低版本）。那么，如果你对Pyhton的版本没有明确的需求，而且一般来说更高的python版本往往是向下兼容的。当你拥有了自己的服务器并下载好了连接工具，接下来就是通过远程连接服务器进行一些软件的下载并上传项目并上线部署了。将你的项目端口的安全组打开，这样你的项目就可以让他人在网址通过ip

结果错误的三大原因：1、数据样本太少了2、模型调参不到位3、预训练模型的选择可能不是太适合。

链接：https://pan.baidu.com/s/1FkdQXv13OefohvbgXzMvLA。应用keras框架的现有模型Vgg19。预测结果：罗得西亚脊背犬。

FFNxfxW1b1W2b2FFNxfxW1​b1​W2​b2​xxx是输入向量W1W_1W1​和W2W_2W2​是可训练权重矩阵b1b_1b1​和b2b_2b2​是偏置项fff是非线性激活函数（如 ReLU、GeLU 或 Swish）补充说明在典型实现中，中间层的维度会扩展到 (4h)（其中 (h) 是隐藏层维度），然后再投影回原始维度。这种"扩展-压缩"的设计增加了模型的表达能力。GeLUx≈

目前用来衡量一个模型好不好的方法，基本都是基于一些学术 benchmark，比如在某一个 NLP 任务上构建一个测试数据集，然后看测试数据集上的准确率。当前 SuperGLUE、GLUE，包括中文的 CLUE 的 benchmark 都不太适合评估大模型。理论上我们可以和聊天机器人聊任何事情，但很多话题或任务在现存的 benchmark 中根本不存在。，甚至更进一步，用测试集直接对模型进行“特训”

*目前主流的开源模型体系分三种：**· **第一种：Prefix Decoder 系**　· 介绍：输入双向注意力，输出单向注意力　· 代表模型：ChatGLM、ChatGLM2、U-PaLM· **第二种：Causal Decoder 系**　· 介绍：从左到右的单向注意力　· 代表模型：LLaMA-7B、LLaMA 衍生物· **第三种：Encoder-Decoder**　· 介绍：输入双向注

有区别。Post LNa. 位置：layernorm 在残差链接之后b. 缺点：PostLN 在深层的梯度范式逐渐增大，导致使用 Post-LN 的深层 Transformer 容易出现训练不稳定的问题Pre-LNa. 位置：layernorm 在残差链接中b. 优点：相比于 Post-LN，Pre-LN 在深层的梯度范式近似相等，所以使用 Pre-LN 的深层 Transformer 训练更稳定

Multi-Query Attention 在所有注意力头上共享 key 和 value。Grouped query attention：介于 multi head 和 multi query 之间，多个 key 和 value。

Transformer是一种用于自然语言处理(NLP)和其他席列到序列(sequence-to-sequence)任务的深度学习模型架构，它在2017年由Vaswani等人首次提出。Transformer架构引入了自注意力机制(self-attention mechanism)这是一个关键的创新，使其在处理序列数据时表现出色。

KL（Kullback-Leibler）散度衡量了两个概率分布之间的差异。DKLP∥Q∑xPxlog⁡PxQxDKL​P∥Qx∑​PxlogQxPx​信息增益是在决策树算法中用于选择最佳特征的一种评价指标。信息增益衡量了在特征已知的情况下，将样本集合划分成不同类别的纯度提升程度。它基于信息论的概念，使用熵来度量样本集合的不确定性。HD−HD∣AHD−HD∣A其中，HDH(D)HD。