本文提出通用场景图(USG)表示法，能够整合图像(ISG)、文本(TSG)、视频(VSG)和3D(3DSG)等多种模态的场景信息。针对现有方法孤立处理单模态导致的跨模态对齐困难问题，作者设计了共享掩码解码器框架，通过模态特定编码器提取特征后，利用掩码交叉注意力隐式整合跨模态互补信息。系统包含对象关联器、目标检测头和关系检测器等模块，采用多任务损失函数和文本中心对比学习策略，有效解决了跨模态对象对齐