王家豪 投稿自 凹非寺 量子位 | 公众号 QbitAIGPT-4o再次掀起多模态大模型的浪潮。如果他们能以近似人类的熟练程度，在不同领域执行广泛的任务，这对许多领域带来革命性进展。因而，构建一个全面的评估基准测试就显得格外重要。然而评估大型视觉语言模型能力的进程显著落后于它们自身的发展。来自上海AI Lab、香港大学、上海交大、浙江大学等多家机构提出了 MMT-Bench。这是一个全方位的多模.

克雷西 萧箫 发自 凹非寺 量子位 | 公众号 QbitAI多模态王炸大模型GPT-4V，166页“说明书”重磅发布！而且还是微软团队出品。什么样的论文，能写出166页？不仅详细测评了GPT-4V在十大任务上的表现，从基础的图像识别、到复杂的逻辑推理都有展示；还传授了一整套多模态大模型提示词使用技巧——手把手教你从0到1学会写提示词，回答专业程度一看就懂，属实是把GPT-4V的使用门槛打到不存在了

西风 发自 凹非寺 量子位 | 公众号 QbitAI字节大模型，BuboGPT来了。支持文本、图像、音频三种模态，做到细粒度的多模态联合理解。答哪指哪，什么讲了什么没讲，一目了然：除了有“慧眼”，还有“聪耳”。人类都注意不到的细节BuboGPT能听到：前方高能！三模态联合理解，文字描述+图像定位+声音定位，一键搞定，准确判断声音来源：别着急，还没完！即使音频和图像之间没有直接关系，也可以合理描述.

Vision-Language Instruction Tuning: A Review and Analysishttps://arxiv.org/pdf/2311.08172.pdfhttps://github.com/palchenli/VL-Instruction-Tuning指令调优是大型语言模型（LLMs）的一个重要的有监督训练阶段，旨在增强LLMs执行指令和适应用户偏好的能力。随着多

本文来源 机器之心编辑部大模型涌向移动端的浪潮愈演愈烈，终于有人把多模态大模型也搬到了移动端上。近日，美团、浙大等推出了能够在移动端部署的多模态大模型，包含了 LLM 基座训练、SFT、VLM 全流程。也许不久的将来，每个人都能方便、快捷、低成本的拥有属于自己的大模型。MobileVLM 是一款专为移动设备设计的快速、强大和开放的视觉语言助手。它结合了面向移动设备的架构设计和技术，包括从头开始训.

本文来源 机器之心 编辑：张倩、杜伟 未经授权 不得二次转载谷歌、Meta 等科技巨头又挖了一个新坑。在文本转图像上卷了大半年之后，Meta、谷歌等科技巨头又将目光投向了一个新的战场：文本转视频。上周，Meta 公布了一个能够生成高质量短视频的工具——Make-A-Video，利用这款工具生成的视频非常具有想象力。当然，谷歌也不甘示弱。刚刚，该公司 CEO Sundar Pichai 亲自...

本文来源 机器之心 编辑：悉闲本文概述了最先进的多模态深度学习研究中使用的各类方法。近年来，NLP 和 CV 领域在方法上突破不断。不只是单模态模型有所进展，而大规模多模态方法也已经成为非常热门的研究领域。论文地址：https://arxiv.org/pdf/2301.04856v1.pdf项目地址：https://github.com/slds-lmu/seminar_multimodal_..

本文来源 机器之心本论文作者是中国科学院计算技术研究所高林老师及其博士生刘锋林，香港城市大学傅红波老师，卡迪夫大学来煜坤老师。该项研究工作受到国家自然科学基金委、北京市自然科学基金委、北京市科学技术委员会的资助，由信息高铁智算算力网平台提供算力支持。基于人工智能的数字内容生成，即 AIGC 在二维图像生成领域取得了很大的成功，但在三维生成方面仍存在挑战。智能化生成三维模型在 AR/VR、工业设计、

本文来源 新机器视觉数据压缩是保留相同或绝大部分数据前提下减小文件大小的过程。它的原理是消除不必要的数据或以更高效的格式重新组织数据。在进行数据压缩时，你可以选择使用有损方法或无损方法。有损方法会永久性地擦除掉一些数据，而无损方法则能保证持有全部的数据。使用哪类方法取决于你要让你的文件保持多大的精准度。本文会为你介绍6种不同的无损数据压缩算法，以及4种基于深度学习的图像/视频压缩算法。六款无...

本文来源 机器之心 编辑：杨文、亚鹂有了 StoryDiffusion，更加一致性的图像和视频生成得到了保障。两天前，图灵奖得主 Yann LeCun 转载了「自己登上月球去探索」的长篇漫画，引起了网友的热议。其实，产出这些漫画的研究出自南开大学、字节跳动等机构。在《StoryDiffusion：Consistent Self-Attention for long-range image an..