多模态LLM可以通过多种不同方式成功构建。下图总结了上述讨论涵盖的模型各个组成部分。

人工智能与线性代数：向量与矩阵的运算和性质人工智能与微积分和优化：导数、雅可比矩阵、海森矩阵、凸优化神经网络的前向传播是线性代数，反向传播是微积分，而模型预测的输出、对齐的本质、以及智能体的决策，全部都是概率。大模型（LLM）的本质就是一个超大规模的概率分布函数 P(Tokent∣Token<t)P(\text{Token}_{t} \mid \text{Token}_{<t})P(Tokent​

定义多头自注意力机制中的线性变换操作（在自注意力机制中，需要将输入的特征向量通过线性变换映射到不同的空间中，以便进行多头注意力的计算。将向量拆分为给定数量的头部，以获得多头注意。'''d_model：模型输入的特征维度；heads：注意力机制中的头数；d_k：每个头部中以向量表示的维度数；bias：是否使用偏置项'''#线性变换的线性层，输入为d_model，输出为heads*d_k'''

隐藏层数目和隐藏单元数视为超参数，一般选择2的若干次幂为层的宽度， 因为内存在硬件中的分配和寻址方式，这么做往往可以在计算上更高效。当输入为0时，sigmoid函数的导数达到最大值0.25，输入在任一方向越远离0点时，导数越接近0。导入相关库，设置批量大小为256，调用load_data_fashion_mnist函数获取数据集。当输入接近0时，tanh函数的导数接近最大值1，输入在任一方向越远离

使用 平方损失函数。在实现中，我们需要将真实值y的形状转换为和预测值y_hat的形状相同。使用小批量随机梯度下降法进行优化。对于标准深度学习模型，我们可以使用框架的预定义好的层。这使我们只需关注使用哪些层来构造模型，而不必关注层的实现细节。torch.nn.Sequential 是一个容器模块，它按顺序包含了其他模块（layers）。这个容器允许将一系列的神经网络层按照顺序组合在一起，形成一个更大

AttentionDecoder类：定义带有注意力机制解码器的基本接口#@save"""带有注意力机制解码器的基本接口"""@property#初始化解码器状态# outputs的形状为(batch_size，num_steps，num_hiddens).# hidden_state的形状为(num_layers，batch_size，num_hiddens)# enc_outputs的形状为(b

生成图像建模可实现广泛的应用，但引起了有关负责任部署的道德担忧。由于无法识别图像是由人工智能生成的，因此很难将它们从某些平台上删除并确保它们符合道德标准。它为深度造假、冒充或盗用版权等新风险打开了大门。一种结合图像水印和潜在扩散模型的主动策略，使得所有生成的图像隐藏不可见的水印，从而使得将来能够对其进行检测或者识别。以二进制签名为条件，快速微调图像生成器的潜在解码器。预先训练的水印提取器从任何生成

在机器学习领域中，不同评价指标（即一组特征中的不同特征就是所述的不同评价指标）往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。即，原始数据经过数据标准化处理后，各指标处于同一数量级，适合进行综合对比评价。数据归一化一般有[0,1]归一化和正态分布归一化两种方法：[0,1]归一化：使结果值映射到[0，1]

点击clone repository，可以发现提供了两种下载方式，方式一为HTTPS，代码如下，然而国内使用代理访问的时候采用这种方式会报错：Failed to connect to huggingface.co port 443 after 127293 ms: Couldn’t connect to server。如果直接输入：git clone git@hf.co:runwayml/stab

图生图任务在输入本文的基础上，再输入一张图片，SD模型将根据文本的提示，将输入图片进行重绘以更加符合文本的描述。inpaint是Stable Diffusion仅重绘图像部分的技术，将画面中被手工遮罩的部分重新绘制；杂色将添加到要上色的图像部分。噪声量同样由降噪强度控制。