多模态是指涉及多种感官模态（如视觉、听觉、语言等）的信息，通过多种媒体形式进行表达和传递。在现实世界中，人们接收和理解信息的方式往往是多模态的，通过同时获取不同感官的输入，融合多种信息来源来构建对世界的认知。多模态数据能够提供更丰富、全面和准确的信息，因此在生成模型中具有重要的作用。将AIGC和大模型与多模态相结合，可以进一步提升系统的能力，实现更复杂、多样化的内容生成和理解任务。

学习多模态的话题可以从深度学习的分类任务出发，因为分类任务是最直观的可以观察到不同模态的数据，通过输入数据到模型中，我们可以看到模型是如何学习到数据的特征向量的，同时分类任务的模型也是实现更复杂任务模型的基础。从分类任务中可以了解到图像、文本、语音在模型的特征向量是什么。以飞浆的多模态视频分类模型为例，这个模型基于真实的短视频业务数据，融合文本、视频图像、音频三种模态进行视频多模标签分类，相比只使

记录各个医疗领域中的各个多模态大模型；

模态联合学习是一种将多个模态的信息融合在一个模型中进行联合训练的方法。跨模态学习是一种将一个模态的特征转换为另一个模态的特征表示的方法。多模态自监督学习是一种无需标注数据，通过模型自身学习来提取多个模态的特征的方法。

1. MCU与AIRISC -V构成 MCU;RSIC-V有利于 内核设计：音频识别起步；2.AI 芯片技术 与产业发展路径智能计算系统：中科院陈云霖： B站公开课 智能计算系统；https://www.bilibili.com/video/BV1uz411i7a5?spm_id_from=333.999.0.0数据 + 算法 + 算力；cpu多数时间是在 等待 从内存中 读取数据，大部分时间没有

学习目标：了解深度学习在内窥镜图像上的研究。学习内容：深度学习在内窥镜图像研究：比赛推荐，https://endovis.grand-challenge.org/https://github.com/JunMa11/MICCAI-OpenSourcePapers工业界：将深度学习用于处理内窥镜图像的公司：https://www.magentiq.com/copy-of-products内窥镜实时A

原文出自这里提取码：7gpfB站视频：第一次讲，有很多问题，也先放在这里吧，麦克分问题，声音很小。

微软 和 IBM于 1991年 提出的资源交换的文件格式 RIFF（ resource interchange File Format）；wav 是 属于RIFF 中的一个应用实例；

音频任务前言：使用 filter Bankoutput 作为特征， 作为首选；Mel sepctgram;conformer绝对位置编码，相对位置编码选择相对位置编码；将 tranformer 中的 FC拆成两个部分，分别放在 上下 两个部位；中间加入CNN 模块...

如果是神经网络模型调试， 尝试将batch -size=1 ;pycharm 中， file–>settings -->Build, —> pythonDebugger—> Gevent compatible.