登录社区云，与社区用户共同成长
邀请您加入社区
本文深入探讨了VLM-FO1如何通过‘生成+引用’的混合范式革新视觉语言模型的细粒度感知能力。该框架解耦区域提案与特征引用，采用双编码器架构融合语义与空间信息，显著提升了多模态任务中的定位精度。实验显示，VLM-FO1在COCO检测任务上mAP提升20个百分点，为智能审核、工业质检等场景带来突破性应用。
多模态模型是让机器同时理解图像与文本的核心技术，其本质在于构建跨模态的共享语义空间，通过对比学习实现图像块与文本词元的精准对齐。相比传统OCR或单模态AI，它无需标注即可完成图文检索、视觉问答和结构化生成，显著降低工程门槛。技术价值体现在零样本迁移能力、端到端推理简化和业务场景强适配性，广泛应用于智能制造质检、医疗影像辅助诊断、教育手写批改等真实需求。本文聚焦视觉-语言模型（VLM）的工业落地路径
本文探讨了视觉问答(VQA)技术如何通过多模态融合和人工智能革新无障碍服务，为视障人士提供环境感知能力。从技术原理到真实用户案例，展示了VQA作为'数字眼睛'的突破性应用，包括轻量化模型架构和情境感知增强技术，显著提升用户独立性和社交参与度。
多模态代理AI（MultimodalAgentAI，MAA）是一类基于多模态感知输入理解而生成有效动作的系统。随着大语言模型（LLM）和视觉语言模型（VLM）的发展，许多MAA系统在从基础研究到应用的各个领域中不断涌现。尽管这些研究领域通过结合各自领域的传统技术（如视觉问答和视觉导航）迅速发展，它们在数据收集、基准测试和伦理视角方面具有共同的关注点。本文着眼于MAA的一些代表性研究领域，包括多模态
注意力算子和Transformer架构的引入使得我们可以创建大规模的，能够处理各种模态的模型。这一进步主要归因于算子的多功能性和架构的适应性。最初，它们主要应用于语言模型，但很快就扩展到支持视觉处理骨干，并最终用于集成多种模态的模型。随着复杂的大语言模型的激增，尤其是它们在上下文学习方面的能力的进步，鼓励研究人员将这些模型的范围扩大到多种模态，既作为输入又作为输出。这种扩展促使了像GPT-4V和G
上海人工智能实验室推出的VideoChat开创了视频理解新范式，通过整合视频理解模型与大语言模型，提供两种创新交互模式：VideoChat-Text利用多感知模型显式描述视频内容，支持深度解析；VideoChat-Embed采用单一模型隐式编码视频语义，实现高效理解。该系统具备多模态交互、高度自动化、强扩展性等特点，可应用于在线教育、智能监控、视频摘要等多个领域。两种模式各有优势，Text模式侧重
本书详细介绍了大语言模型和多模态大模型的发展历史、技术原理和亮点、主要的开源框架、配套工具、部署细则和实战案例。为了让读者更好地进行大模型的应用实战，本书还详细介绍了使用大模型为商业赋能的3个应用案例。
本文介绍了一种融合MoE多专家扩展能力和LoRA轻量化优势的MOELoRA方法，用于在消费级显卡上高效微调视觉语言模型（如Qwen3-VL）。该方法借鉴DeepSeekV3的无损耗负载均衡策略，仅通过可学习路由偏置实现专家均衡调用，无需额外损失项。文章详细阐述了MOELoRA的核心实现，包括配置类扩展、MOELoraLayer设计以及与Peft库的集成，并以Qwen3-VL-4B为例展示了在8G显
移动应用的爆炸性增长，用户界面（UI）的设计越来越复杂，功能也越来越丰富。但现有的多模态大模型（MLLMs）在理解用户界面时存在局限，尤其是在处理具有特定分辨率和包含众多小型对象（如图标、文本）的移动 UI 屏幕时。这些模型通常难以准确识别和操作界面上的特定元素，也难以执行基于自然语言指令的复杂任务。苹果团队提出的Ferret-UI，正是为了解决这一问题而设计的。它是一款专门针对移动 UI 屏幕理
例如，当模型遇到一个涉及几何图形的问题时，它可以利用图像模态的信息来辅助理解问题，并结合文本模态的信息进行推理和解答。选择合适的融合方法需要综合考虑多个因素，包括任务的特定需求、计算资源的可用性、数据的质量和规模，以及模态间的相关性程度等。此外，随着研究的深入，一些新的融合方法也在不断涌现，如基于神经架构搜索的自动化融合方法，以及考虑时序信息的动态融合策略等。在实际应用中，这些掩码策略的创新极大地
本文深入解析了多模态模型BLIP的预训练过程，重点剖析了其核心的MED三合一架构与三大损失函数。通过结合ViT图像编码器与BERT文本编码/解码器，BLIP同时优化图文对比、图文匹配和语言建模任务，实现了高效的多模态理解与生成。文章提供了从架构拆解、Loss原理到实战代码与训练技巧的完整指南。
最近多模态相关的论文好火，原因就不多说了（懂得都懂），因为有不少想发paper的同学来问了，我就火速整理了一部分来和你们分享。这次整理了，还有，主要涉及预训练、表征学习、多模态融合等热门细分方向，论文包大家可以看文末领取！
本文是Label Studio实战指南，详细介绍了如何从零搭建企业级多模态数据标注平台。内容涵盖环境部署、多模态项目创建、团队协作与机器学习模型集成，旨在帮助用户高效管理图像、文本等数据的标注流程，提升数据生产效率与质量。
随着2024年5月14日GPT-4o的发布，多模态大模型逐渐成为行业热点，国内各大厂商阿里、百度、智谱也相继发布了自己的多模态大模型。本章内容，我们将从多模态的体验感受开始，逐步了解多模态大模型的架构组成、训练数据构成，最后搭建一个多模态大模型。多模态大模型是一种能够处理和理解多种数据类型（模态）的人工智能模型。这些模态通常包括文本、图像、音频和视频等。量化是将高精度浮点数表示（如32位浮点数）转
目前通过实验，团队开发的离线具身智能导盲犬已能够与视障人士流畅沟通指令，并带领其通过马路、楼梯、电梯等多样复杂环境，验证了离线具身智能导盲犬的智能人机交互能力、电梯弱网络环境下的智能乘梯引导能力、实时性要求较高的智能过街引导能力和智能室内引导能力等。西工大团队在此方面开展研究攻关，并取得了新的突破。该成果证明了离线具身智能导盲犬代替传统导盲犬的可能性，同时验证了离线具身智能范式的可行性，使大模型具
2023 年 6 月，微软在 CVPR2023 发表论文「 多模态基础模型：从专家到通用助手 」（Multimodal Foundation Models: From Specialists to General-Purpose Assistants） 。本文全面综述了多模态基础模型的分类和演化，这些模型展示了视觉和视觉语言能力，并重点关注了从专家向通用助手的过渡。本节还包括全书的 568 篇参考
本篇博客介绍了BLIP-2 ，这是一种面向通用多模态任务的高效视觉语言预训练框架，其核心思想是在冻结大语言模型的前提下，通过引入一个可训练的查询变换器（Q-Former），实现视觉特征与语言输入之间的有效桥接。该方法针对传统多模态模型训练成本高、跨模态对齐难的问题，提出了一个两阶段架构：首先训练一个融合视觉信息的 Q-Former，以少量计算资源学习从图像中提取语言相关的视觉语义；其次将其输出作为
【摘要】随着Deepfake技术的迅猛发展，单一模态检测已难以应对伪造内容的复杂威胁。本文系统梳理了多模态数据源交叉验证机制的理论基础、关键技术、典型应用、技术难点与发展趋势，深入探讨声纹、图像、文本等多模态协同认证在新闻审核、金融风控、社交平台等领域的落地实践，并结合政策、伦理、市场等宏观视角，提出了多维协同的内容安全防线建设建议。
LoRA 是一种参数高效微调方法，其核心思想是将原始权重矩阵的更新限制在一个低秩空间内，从而显著减少训练参数量。不同于传统微调，LoRA 将权重的更新项ΔW\Delta WΔW表示为两个低秩矩阵A∈Rr×dA∈Rr×d和B∈Rd×rB∈Rd×rW′WΔWWBAW′WΔWWBA训练阶段只更新两个低秩矩阵AAA和BBB，原始模型权重WWW保持不变；LoRA 的核心目标：降低大模型微调成本参数量从Od。
本文解读了CVPR 2025上提出的BrainMVP框架，这一跨模态预训练新范式在多模态脑MRI分析中实现突破。通过跨模态重建、模态模板蒸馏和模态感知对比学习三项核心技术，BrainMVP显著提升了脑肿瘤分割和阿尔茨海默病早期诊断的准确率，最高提升达18%。该框架有效解决了多模态数据关联整合和医疗隐私保护难题，为医学影像分析提供了新思路。
BLIP-2在视觉语言预训练领域做出了显著改进，主要聚焦于模态对齐和高效训练两大方面。为解决模态对齐问题，BLIP-2引入了QFormer（Querying Transformer），一个轻量级架构，作为图像与文本特征之间的桥梁。在高效训练方面，BLIP-2采用了一种两阶段预训练策略，旨在连接当前先进的视觉骨干网络与大模型。在VQAv2任务上，尽管使用的训练数据量仅为Flamingo80B的一小部
BLIP：该方法分别使用ViT和BERT进行图像和文本特征提取；提出使用image-text contrastive learning (ITC)损失、image-text matching (ITM)损失、Language Modeling (LM)损失进行模型优化；提出Captioning and Filtering (CapFilt)生成并过滤从网络上获取的图像-文本对。
本文深入介绍HiChatBox智能终端中多模态感知数据的时间对齐方法，涵盖主时钟同步、硬件触发、软件校正及音视频延迟测量等关键技术。通过高精度时间戳、MTA-E对齐引擎和事件窗口聚合策略，实现语音、视觉、触觉等多模态数据的精准融合，显著提升交互体验与模型准确率。
多模态大模型不仅是技术的突破，更是 AI 理解物理世界的关键跳板。当模型能像人类一样 “看听闻触想”，真正的具身智能（Embodied AI）将不再遥远。作为从业者，我们正站在感知革命的起点 —— 这条路或许漫长，但每一步都在重塑人与机器的共生方式。参考文献与工具推荐论文：《FLAME: 面向开放世界的多模态预训练框架》（NeurIPS 2024）开源项目：HuggingFace Multimod
心灵之眼：用于图像标题生成的循环视觉表示方法：递归神经网络属于多模态表示：图片和文字，联合架构Introduction(多模态的表示，这一块的历史可以在这篇文章的Introduction里面借鉴)有几篇论文探讨了学习图像的联合特征空间及其描述，提出了很多投影方法，包括KCCA、深度神经网络和卷积神经网络。尽管这些方法可以将语义和视觉特征投影到一个公共的嵌入空间，但是没有办法反向得到新的句子或者视觉
2023 年，微软在 CVPR2023 发表论文「 多模态基础模型：从专家到通用助手 」（Multimodal Foundation Models: From Specialists to General-Purpose Assistants） 。本文全面综述了多模态基础模型的分类和演化，这些模型展示了视觉和视觉语言能力，并重点关注了从专家向通用助手的过渡。
李沐大神前阵子在上交大的演讲大家关注了没，听完确实认同多模态才是当下的一个趋势。特别是为了应对任务复杂性、数据标注难题等方面的需求，当前我们对的研究热情已经空前高涨。它可以通过同时处理多种类型的数据，全面提高模型的表征、泛化等各项能力，也不需要我们大量标注数据，因此最近这方向一些阶段性的结果已经在各大顶会发表了，比如CVPR 2024的ULIP-2框架，无需标注数据即可刷新SOTA；还有AAAI
大规模预训练和指令微调在构建通用语言模型方面取得了显著成功。然而，构建通用视觉-语言模型仍然面临挑战，这主要源于由于视觉输入所带来的丰富输入分布和任务多样性。尽管视觉-语言预训练已经被广泛研究，视觉-语言指令微调仍然是一个未被充分探索的方向。本文基于预训练的 BLIP-2 模型，对视觉-语言指令微调进行了系统且全面的研究。我们收集了 26 个公开数据集，涵盖了广泛的任务和能力，并将它们转换为指令微
本文全面对比分析了15个主流大模型开发框架，包括训练框架(PyTorch、DeepSpeed、Megatron)、推理引擎(vLLM、ONNX Runtime)、微调工具(PEFT、Unsloth)和部署服务(Ollama、Xinference)等。从定位、核心功能、优缺点、易用性到适用场景进行系统梳理，帮助开发者根据自身需求选择合适的工具链，构建从模型开发到生产部署的全流程解决方案。
关于预训练的诸多模型，博主已经在以往的文章中整理过：Cross-modal Pretraining in BERT（跨模态预训练）OpenAI CLIP，DALL-ECLIP在视频领域的应用（CLIPBERT，CLIP4Clip，CLIP2Video，CLIPTV）本篇整理一下最近几篇关于Vision-Language Pre-traning(VLP)的综述文章，以及一篇很不错的，关于各个组件的选
随着 AlexNet [1] 的出现，过去十年里深度学习得到了快速的发展，而卷积神经网络也从 AlexNet 逐步发展到了 VGG [2]、ResNet [3]、DenseNet [4]、HRNet [5] 等更深的网络结构。研究者们发现，网络越深模型的性能越好。然而，经过多年的发展，研究者们逐渐触碰到了卷积神经网络的极限，而其规模也只发展到了千万到亿的数量级，例如 ResNet-152 的参数量
内含教程讲解步骤
2023年3月份，中共中央、国务院印发了《数字中国建设整体布局规划》（以下简称《规划》）。该《规划》明确指出，建设数字中国是数字时代推进中国式现代化的重要引擎。数字中国的建设和大目标的达成，人工智能是重要的技术、工具和底座平台。随着ChatGPT和GPT-4这两个知名大模型的发布，让大模型迅速成为行业爆点，重新点燃了全球对通用人工智能的热情。全球主要国家和地区都开始致力于大模型的研发、应用和推广。
在该项研究当中，研发人员提出了一种模拟皮肤受体触觉（CRMT）系统，该系统可以通过一个统一而紧凑的系统同时实时感知四种不同类型的触觉刺激，例如法向力、剪切力、振动和温度。然而，为了完全模仿人类皮肤的传感能力，至关重要的是开发一种传感系统，该系统可以检测不同的物理量，同时实时考虑触觉信息，其方式类似于位于人类皮肤下的皮肤感受器。皮肤感受器包括响应温度变化的温度感受器和实时检测法向力、剪切力和振动的机
本文总结了VALSE 2024的Workshop报告《面向实际场景体验的多模态大模型DeepSeek VL》的精彩内容，方便读者学习。
本文节选自陈敬雷《GPT多模态大模型与AI Agent智能体》一书，重点探讨多模态大模型的核心技术。文章详细解析了多模态基础模型的三大关键技术：对齐（建立跨模态数据关联）、融合（信息整合策略）和表示（数据编码方法），并介绍了CLIP等代表性模型。这些技术使AI系统能够协同处理文本、图像、视频等不同模态数据，实现更强大的理解和生成能力。书中还包含配套视频课程，通过理论解析和实战案例（如模型微调、RL
本文分析了5种"3D点云+X模型"的创新研究方向：1）点云+图神经网络，重点在动态图构建和多尺度聚合；2）点云+Transformer，关注轻量化注意力与多模态融合；3）点云+扩散模型，探索几何约束生成和文本引导；4）点云+强化学习，应用于机器人操作决策；5）点云+大语言模型，实现语义推理与交互。其中点云+扩散模型、多模态Transformer和轻量化GNN最具研究价值，能有效
MINIM整合了多种成像技术（如MRI、CT、眼底影像等）及其对应的文本描述，构建了一个跨模态的生成框架。本文介绍本项目的研究方法，开源项目的安装和使用方法。
一种新的生成式多模态跨器官医学影像基础模型 MINIM，借助文本指令与多种影像技术，它能够合成海量高质量的医学影像数据，大幅提升医学AI的训练效果。Self-improving generative foundation model for synthetic medical image generation and clinical applications 。
本文综述了视频扩散模型的最新研究进展，系统梳理了该领域在视频生成、编辑和理解任务中的应用。随着扩散模型在AIGC领域的崛起，其在视频处理中展现出超越传统GAN和Transformer方法的潜力。文章首先介绍了扩散模型的三种基础框架（DDPM、SGM、Score SDE），然后重点分析了视频生成（如文本到视频生成）、视频编辑和视频理解三大方向的研究现状，包括代表性方法、数据集和评估指标。作者指出，尽
本文深入解析了ALBEF模型如何通过“先对齐，再融合”的范式革新多模态表征学习。其核心在于引入动量蒸馏技术，该技术通过构建一个参数动量更新的教师模型，为噪声数据生成更可靠的软标签，从而有效提升视觉与语言特征对齐的鲁棒性，最终在多模态理解与检索任务上实现高效且强大的性能。
总而言之，多模态数据对齐的核心是通过**对比学习**或**生成学习**，将不同模态的数据映射到一个**共享的语义空间**中，并用**InfoNCE**等损失函数来优化模型，使其在该空间中相关的数据点靠近，不相关的数据点远离。***代表模型**：**Stable Diffusion**, **DALL-E** (部分)。未来方向包括开发更高效的**自监督**和**弱监督**学习方法。***损失函数*
多模态大模型（LLMs）在理解和生成文本方面取得了显著成就。然而，这些模型在核心视觉感知任务上的表现仍远落后于人类。本文介绍了Blink基准测试，这是一套针对多模态LLMs的视觉感知能力的新测试，旨在评估那些在其他评估中未被充分测试的能力。即使是最先进的模型，如GPT-4V和Gemini，在Blink上的表现也远低于人类水平，这表明当前的多模态LLMs在视觉感知方面还有很大的提升空间。
上一篇博文整理了预训练新范式（Prompt-tuning，Prefix-tuning，P-tuning），主要是围绕NLP上的成果，具体的概念本文也不做过多赘述。本篇文章将主要整理几篇有代表性的Prompt方法在多模态领域中的应用。Multimodal Conditionality for Natural Language GenerationPrompt用于Natural Language Ge
【摘要】2025年，多模态大模型成为AI领域的核心驱动力。本文系统梳理其跨模态理解的技术原理、训练与推理难点、行业应用、未来趋势及挑战，结合最新案例与数据，深度剖析多模态大模型的技术突破与产业价值。
ms-swift（ModelScope Swift）是阿里云ModelScope联合微软推出的大模型开发工具包，核心定位是低代码、高效、通用原生支持多模态模型（视觉-语言为主），兼容Qwen-VL、LLaVA、MiniCPM-V、BLIP-2等主流多模态模型；内置LoRA/QLoRA/全量微调等策略，针对多模态模型优化显存占用；统一的配置化开发模式，通过YAML文件管理所有训练参数，无需大量代码开
OODFaceAI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
Chroma 多模态测试下来，效果还是不错，但是目前只支持英文。
人脑由解剖和功能性的网络组织而成，这些网络涉及大规模分布但相互作用的脑区。不同脑区之间的同步性已在手指敲击或视觉刺激等实验任务活动中观察到，但更重要的是，也在无任务条件下(即静息态)测量的内源性活动中被观察到。即使在休息时，当人们清醒但没有有意识地执行任何脑力或体力任务时，人脑也处于活跃状态，并伴随有时空组织的神经活动波动。因此，在静息态人脑中观察到的这些网络组织被称为静息态网络(RSNs)，内在
多模态
——多模态
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
乐奇 Rokid 开放社区
天工造物局
