本文提出了一种基于原型的伪标签方法，用于解决弱监督音视频视频解析（AVVP）问题。该问题旨在通过视频级别的事件标签，在视频中定位和分类可听、可见或两者兼具的事件。现有方法通常采用多实例学习（MIL）技术，但容易误分类。本文方法首先通过聚类训练数据中的关键片段，构建多个“原型”特征，然后基于这些原型与训练片段的特征相似性，为所有训练片段分配伪标签，并在弱监督和强监督下重新训练模型。通过使用伪标签进行

多模态情感识别（MMER）系统通常通过利用诸如视觉、文本、生理和听觉模态之间的跨模态和内模态关系，从而超越单模态系统的表现。本文提出了一种基于联合多模态变换器（Joint Multimodal Transformer，简称JMT）的MMER方法，该方法采用基于键的交叉注意力进行融合。此框架能够利用不同模态的互补特性，以提高预测准确性。独立的后端网络在视频序列中捕获每个模态内的时空依赖关系。随后，我

近年来，弱监督的音频-视觉暴力检测任务受到了相当大的关注。该任务的目标是在基于视频级别标签的多模态数据中识别出暴力片段。尽管该领域已经取得了进展，但之前研究中使用的传统欧几里得神经网络在捕捉高度区分性的表示方面遇到了困难，这是由于特征空间的局限性所致。为了解决这个问题，我们提出了HyperVD，这是一种创新的框架，它在双曲空间中学习片段嵌入，以增强模型的辨别能力。我们贡献了两个全双曲图卷积网络的分

视频异常检索（VAR）旨在通过文本描述、同步音频等跨模态查询，从长未修剪视频集合中检索相关的异常或正常视频。跨模态预训练（CMP）模型通过对大规模图像 - 文本等跨模态对进行预训练，能够学习不同模态间的丰富关联，这种跨模态关联能力使其在传统检索任务中具有优势。受此启发，如何利用CMP模型强大的跨模态关联能力，从长未修剪视频中搜索关键视觉组件成为重要研究问题。为此，本文提出一种基于CMP模型的VAR

在视频中识别人类动作需要空间和时间的理解。大多数现有的动作识别模型缺乏对视频的时空平衡理解。在这项工作中，我们提出了一种新颖的双流架构，称为时空交叉注意力网络（CAST），它仅使用RGB输入实现了对视频的平衡的时空理解。我们提出的瓶颈交叉注意力机制使空间和时间专家模型能够交换信息并进行协同预测，从而提高了性能。我们通过对EPIC-KITCHENS-100、Something-Something-V

本文提出了一种创新的细粒度视频异常检测框架TAO，通过像素级跟踪实现精准异常定位。传统方法多关注帧级或对象级检测，难以处理复杂场景中的重叠异常。TAO创新性地将对象检测与分割模型SAM2结合，通过边界框提取、异常评分、鲁棒过滤和分割推理四个步骤，在无需额外微调的情况下实现像素级异常跟踪。实验表明，该方法在UCSD Ped2和ShanghaiTech数据集上达到SOTA性能，有效解决了现有方法在复杂

多模态语音情感识别（MSER）是一个新兴且充满挑战的研究领域，因其相较于单一模态具有更强的鲁棒性特征。然而，在多模态方法中，利用语音表示的不同模态进行模型构建时，其相互关系尚未得到充分探究。为了解决这一问题，我们提出了一种新的方法，用于捕捉音频和文本的深度时序特征。音频特征通过卷积神经网络（CNN）和双向门控循环单元（Bi-GRU）网络进行学习。文本特征则由GloVe词嵌入结合Bi-GRU表示。设

在监控视频中进行弱监督的异常检测是一项具有挑战性的任务。超越现有工作中在长视频中定位异常能力不足的问题，我们提出了一种新颖的浏览-聚焦网络，以有效地整合时空信息来实现精确的异常检测。此外，我们通过实证发现，现有的使用特征幅度来表示异常程度的方法通常忽略了场景变化的影响，因此由于不同场景间特征幅度的一致性问题而导致性能不佳。为了解决这个问题，我们提出了特征放大机制和幅度对比损失，以增强特征幅度对异常

视频异常检测（Video Anomaly Detection, VAD）旨在定位视频中的异常事件。近年来，弱监督视频异常检测（Weakly Supervised VAD）取得了显著进展，其在训练时仅需视频级标签。在实际应用中，不同机构可能拥有不同类型的异常视频。然而，出于隐私保护的考虑，这些异常视频无法在互联网上流通。为了训练一个能够识别多种异常类型的更具泛化能力的异常检测器，将联邦学习引入 WS

弱监督多模态暴力检测旨在通过利用多个模态（如RGB、光流和音频）来学习暴力检测模型，同时仅依赖视频级标注。在实现高效多模态暴力检测（MVD）的过程中，信息冗余、模态不平衡和模态异步被确认为三大关键挑战。针对这些挑战，本文提出了一种新的弱监督MVD方法。具体而言，我们引入了一个基于多尺度瓶颈变换器（MSBT）的融合模块，该模块通过减少瓶颈令牌的数量逐步浓缩信息并融合每对模态，同时利用基于瓶颈令牌的加