数据准备：加载并标准化MNIST数据集，将图像展平并切分为patches。位置编码：为每个patch添加位置编码。Transformer编码器：输入展平后的patches并通过Transformer编码器处理。池化：通过池化操作将每个patch的表示聚合成一个全局向量表示。分类头：通过全连接层进行数字分类，输出10个类别的概率分布。训练和优化：使用交叉熵损失进行训练，优化模型参数。评估：评估模型的

这个警告通常是因为 Python 环境中的某些分发包没有正确安装或是安装过程中出现了问题，导致这些分发包显示为“无效”。这些无效的包会干扰正常的包管理，并可能影响新包的安装。

注意力分数是query和key的相似度，注意力权重是分数的softmax结果。两种常见的分数计算:第一种：将query和key合并起来进入一个单输出单隐藏层的MLP、第二种：直接将query和key做内积。

选择合适的数据结构选择合适的key选择合适的存储粒度。

Redisson是一个在Redis的基础上实现的Java驻内存数据网格（In-Memory Data Grid）。它不仅提供了一系列的分布式的Java常用对象，还提供了许多分布式服务，其中就包含了各种分布式锁的实现。

节点一个值（或数据）一个指向左子节点的引用一个指向右子节点的引用根节点：二叉树的第一个节点，也就是最上层的节点。每棵树只有一个根节点。子树：树中的任意节点及其所有后代节点称为该节点的子树。每个节点的左子树和右子树本身也是二叉树。叶子节点：没有子节点的节点称为叶子节点。叶子节点是二叉树的终端节点。深度（Depth）：节点的深度是指该节点从根节点开始的路径长度。根节点的深度为 0。高度（Height）

滑动窗口可以看作是一种特殊的双指针技术，主要用于动态维护子数组或子串的区间。双指针技术更为通用，可以用于很多不同类型的问题，而滑动窗口更专注于处理那些涉及到区间长度、最值、满足某些条件的子数组的问题。

给定视觉图像。

正如我们在上一节中所讨论的， 机器翻译是序列转换模型的一个核心问题， 其输入和输出都是长度可变的序列。 为了处理这种类型的输入和输出， 我们可以设计一个包含两个主要组件的架构： 第一个组件是一个编码器（encoder）： 它接受一个长度可变的序列作为输入， 并将其转换为具有固定形状的编码状态。 第二个组件是解码器（decoder）： 它将固定形状的编码状态映射到长度可变的序列。 这被称为编码器-解

知识图谱（KGs）在推动各种人工智能应用中发挥着关键作用，语义网社区对多模态维度的探索则为创新开辟了新途径。在本次综述中，我们审慎地回顾了300多篇文章，聚焦于两个主要的知识图谱相关研究方向：一是知识图谱驱动的多模态（KG4MM）学习，即知识图谱支持多模态任务；二是多模态知识图谱（MM4KG），将知识图谱研究扩展至多模态知识图谱（MMKG）领域。我们首先定义了知识图谱和多模态知识图谱，并探讨了它们