人工智能基础上机---猴子摘香蕉

模态指的是数据或者信息的表现形式，如文本、图像、音频、视频等多模态指的是数据或者信息的多种表现形式，一个信息，它可以存在多种表现形式。为什么会有多模态呢？因为人类有多种感官来处理信息：比如听觉、嗅觉、视觉、触觉、味觉等，它们都可以获取并且处理不同形式的信息。为了让计算机具备分析互联网数据的能力、模拟人类的认知方式，同时处理多个模态数据的多模态信息处理技术应运而生。

模态指的是数据或者信息的表现形式，如文本、图像、音频、视频等多模态指的是数据或者信息的多种表现形式，一个信息，它可以存在多种表现形式。为什么会有多模态呢？因为人类有多种感官来处理信息：比如听觉、嗅觉、视觉、触觉、味觉等，它们都可以获取并且处理不同形式的信息。为了让计算机具备分析互联网数据的能力、模拟人类的认知方式，同时处理多个模态数据的多模态信息处理技术应运而生。

使用Pytotrch搭建VGG模型

在数据进入模型之前需要进行一些预处理，例如数据中心化(仅减均值)，数据标准化(减均值，再除以标准差)，随机裁剪，旋转一定角度，镜像等一系列操作， 在 PyTorch 中，这些数据增强方法被放在了文件中。可以把transforms看作是一个数据预处理工具包，它里面用于处理的每个函数可以看作是单独的一个工具，我们可以用transforms.Compose将多个工具组合起来形成自己的工具包。])

任务说明：基于一个模态的数据，去另一个模态的候选集中进行检索，得到对应的数据跨模态检索的关键就是建立不同模态数据之间的关联，更直接地，模型需要能够输出多个模态数据的匹配分数。对应表示方法：学习图文多模态对应表示，然后直接利用图像和文本的对应表示的距离计算匹配分数；共享表示方法：学习图文多模态共享表示，然后在共享表示层上增加一个或多个网络层直接输出图像和文本的匹配分数。一般而言，和对应表示方法相比，

模态指的是数据或者信息的表现形式，如文本、图像、音频、视频等多模态指的是数据或者信息的多种表现形式，一个信息，它可以存在多种表现形式。为什么会有多模态呢？因为人类有多种感官来处理信息：比如听觉、嗅觉、视觉、触觉、味觉等，它们都可以获取并且处理不同形式的信息。为了让计算机具备分析互联网数据的能力、模拟人类的认知方式，同时处理多个模态数据的多模态信息处理技术应运而生。