自主性的与非自主性的注意力提示解释了人类的注意力的方式，下面来看看如何通过这两种注意力提示，用神经网络来设计注意力机制的框架：首先，考虑一个相对简单的状况，即只使用非自主性提示。要想将选择偏向于感官输入，则可以简单地使用参数化的全连接层，甚至是非参数化的最大汇聚层或平均汇聚层。因此，。卷积、全连接层、汇聚层通常只考虑不随意线索，因为它们都暴力地将所有数据都直接输入到神经网络中，而不对目标加以区分。

get_input=lambda :torch.tensor([outputs[-1]],device=device).reshape(1,1)#“自回归生成”：用上一次生成的 token 当下一次输入。return (torch.zeros(batch_size,num_hiddens,device=device),)#sltm有两个张量，统一化，rnn只有一个。# print(F.one_ho

图像增强可以在源图像上进行一系列的变换，包括翻转、色调改变、裁剪等，可以给图像加“噪音”，增强模型的泛化性，图像增强在训练过程中，会增加样本的数量，但是不会增加训练集的大小len（dataset）还是原来的N张图，只是对于模型来说，他每次取一张图，但是通过增强可以让模型看到更多版本，用有限多的变体取做训练。经过训练之后，可能训练准确度小于测试准确度，但是需要注意的是，图像增强不是随意加的，而是在做

这两个任务有助于模型理解上下文关系以及填充缺失的词汇，从而增强其对自然语言的理解能力。

在 Transformer 之前，处理序列数据（如文本）主要用 RNN 或 LSTM。RNN 必须一个词一个词地处理，导致，且在长文本中存在问题。彻底抛弃了 RNN 的循环结构，。一次性看懂整句话，训练速度极快。无论两个词隔得多远，在模型眼里的距离都是O(1)，完美解决长依赖问题。这份笔记是前一篇《多头注意力机制》的进阶篇。如果说多头注意力是汽车的，那么 Transformer 就是整辆。它由 G

它是 Transformer 模型（由 Google 在 Attention Is All You Need 中提出）的核心组件。简单来说，就是把“自注意力机制 (Self-Attention)”重复做多次（多个“头”），然后再把结果合并起来。

Seq2Seq 模型的核心思想是将一个输入序列（例如一段话）映射到一个输出序列（例如翻译后的文本）。：接受输入序列，并将其编码为一个固定长度的上下文向量（即隐藏状态）。：根据编码器的上下文向量生成输出序列。在传统的 Seq2Seq 模型中，编码器将输入序列压缩成一个固定长度的上下文向量，然后解码器从这个向量生成输出序列。这种方式可能存在信息丢失的问题，尤其在处理较长的输入序列时。

1. 核心目标：估计联合概率语言模型的本质是计算一个句子（单词序列）出现的概率，或者根据上文预测下一个词。：判断一句话在自然语言中是否通顺（概率越高，越自然），或在生成任务中选择概率最大的下一个词。2. 实现路径：链式法则 (Chain Rule)3. 简化方案：N-gram 模型为了解决长序列参数过多的问题，引入：词与词独立。：只看前1个词。：只看前；2个词。4. 参数估计：通过统计语料库中的词

3.内容图经过内容层，得到目标内容，训练时让预训练的图片接近目标内容；风格图经过风格层，得到目标风格，然后再用gram得到最终目标风格，训练时让预训练的图片接近最终目标风格。styles_Y_gram=[gram(Y) for Y in styles_Y]#提前算出，省计算。5.根据内容、目标以及降噪损失三个loss，加权求和得到l，并对l做梯度，更新图像像素值。2.选内容层和风格层，内容层数值比

本文采用的是江科大stm32入门套餐，使用的是STM32F103C8T6开发板，通过stlik将第嵌入式开发2中的程序烧录到开发板中。