多模态大模型LLaVA 家族放大招！LLaVA-Plus 化身多模态 Agent，工具自由 + 性能追平 GPT-4

陈敬雷-充电了么-CEO兼CTO

813人浏览 · 2025-09-13 22:05:00

陈敬雷-充电了么-CEO兼CTO · 2025-09-13 22:05:00 发布

注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）【陈敬雷编著】【清华大学出版社】

清华《GPT多模态大模型与AI Agent智能体》书籍配套视频课程【陈敬雷】

文章目录

GPT多模态大模型与AI Agent智能体系列一百七十一
- 多模态大模型LLaVA 家族放大招！LLaVA-Plus 化身多模态 Agent，工具自由 + 性能追平 GPT
- - 更多技术内容
总结

GPT多模态大模型与AI Agent智能体系列一百七十一

多模态大模型LLaVA 家族放大招！LLaVA-Plus 化身多模态 Agent，工具自由 + 性能追平 GPT

7.5.5 LLaVA-Plus
LLaVA-Plus是LLaVA系列的新作，全称为Large Language and Vision Assistants that Plug and Learn to Use Skills。与LLaVA相比，LLaVA-Plus采用了更加先进的Agent设计理念，能够通过使用各种工具来完成更复杂的任务。LLaVA-Plus维护了一个庞大的工具仓库，其中包含了大量的视觉和多模态预训练模型。当用户输入指令（可以是多模态输入）时，LLaVA-Plus能够智能地选择合适的工具，并规划出最佳的调用方式，从而完成相对复杂的任务。这与Lang-chain和Hugging-GPT中通过设计Prompt的方式来调用工具的方法有所不同，LLaVA-Plus通过Instruction Tuning训练模型来选择工具和规划任务的能力。下面是LLaVA-Plus可以进行的一些工作示例：
（1）视觉生成：根据用户的指令生成新的视觉内容。
（2）视觉交互：与用户提供的视觉内容进行交互，例如编辑图片或者视频。
（3）视觉理解：包括目标分割、检测和OCR（光学字符识别），以便更好地理解和解析视觉信息。
（4）引入外部知识：通过搜索引擎或其他知识库来获取和整合外部信息。
（5）创作：利用视觉和语言技能进行创意内容的生成和润色。
LLaVA-Plus的这些功能使其成为一个强大的多模态助手，能够在多种场景下为用户提供高效的服务和支持，以下是LLaVA-Plus主要特性：
1.工具选择与规划能力
在用户输入包含图片和文本的指令后，LLaVA-Plus不仅能理解这些多模态输入，还能智能地选择所需工具，规划调用顺序，整合工具输出，最终以自然语言形式给出答案。这一流程显著区别于LLaVA，后者仅限于直接生成回答，缺乏工具调用和整合步骤。
2.扩展与理解工具库
LLaVA-Plus的工具库分为理解和扩展两大类。理解工具涵盖了从图像字幕、语义分割到OCR等多种任务，扩展工具则包括外部知识检索、图像生成、视觉提示以及技能组合，如基于多轮对话的视觉理解、图像重绘和社交媒体内容创作等。这些工具不仅增强了模型的视觉理解能力，还为其提供了生成和编辑图像、整合外部知识的手段。
3.模型训练与服务部署
LLaVA-Plus在训练时可采用“全工具”或“飞速”模式。“全工具”模式下，所有可用工具都会被应用于图像处理，以丰富模型的训练数据；“飞速”模式则侧重于成本效益，仅调用与指令直接相关的工具。服务方面，LLaVA-Plus基于FastChat构建，即使是7B规模的模型也能在80GB GPU上运行，展现了高效的资源管理。
4.实验验证与性能提升
通过在LLaVA-Bench和SEED-Bench等多个基准测试上的评估，LLaVA-Plus展现出了相较于LLaVA显著的性能优势，特别是在Grounding、Tagging、Caption和OCR等任务上。在MMVet和VisIT-Bench数据集上的表现进一步证实了这一点，尤其是其在OCR和空间感知能力上的重大突破，接近甚至超越了GPT-4的水平。
LLaVA-Plus出现，标志着生成式AI正朝着Agent方向发展，而非仅局限于Chat模式。Agent方法通过结合工具使用和多模态交互，开辟了AI系统解决复杂现实世界问题的新路径。虽然Chat和Agent各有千秋，但两者发展相互促进，共同推动着生成式AI技术的进步。

总结

此文章有对应的配套新书教材和视频：

【配套新书教材】
《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）【陈敬雷编著】【清华大学出版社】
新书特色：《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）是一本2025年清华大学出版社出版的图书，作者是陈敬雷，本书深入探讨了GPT多模态大模型与AI Agent智能体的技术原理及其在企业中的应用落地。
全书共8章，从大模型技术原理切入，逐步深入大模型训练及微调，还介绍了众多国内外主流大模型。LangChain技术、RAG检索增强生成、多模态大模型等均有深入讲解。对AI Agent智能体，从定义、原理到主流框架也都进行了深入讲解。在企业应用落地方面，本书提供了丰富的案例分析，如基于大模型的对话式推荐系统、多模态搜索、NL2SQL数据即席查询、智能客服对话机器人、多模态数字人，以及多模态具身智能等。这些案例不仅展示了大模型技术的实际应用，也为读者提供了宝贵的实践经验。
本书适合对大模型、多模态技术及AI Agent感兴趣的读者阅读，也特别适合作为高等院校本科生和研究生的教材或参考书。书中内容丰富、系统，既有理论知识的深入讲解，也有大量的实践案例和代码示例，能够帮助学生在掌握理论知识的同时，培养实际操作能力和解决问题的能力。通过阅读本书，读者将能够更好地理解大模型技术的前沿发展，并将其应用于实际工作中，推动人工智能技术的进步和创新。

【配套视频】

清华《GPT多模态大模型与AI Agent智能体》书籍配套视频【陈敬雷】
视频特色： 前沿技术深度解析，把握行业脉搏

实战驱动，掌握大模型开发全流程

智能涌现与 AGI 前瞻，抢占技术高地

上一篇：《GPT多模态大模型与AI Agent智能体》系列一》大模型技术原理 - 大模型技术的起源、思想
下一篇：DeepSeek大模型技术系列五》DeepSeek大模型基础设施全解析：支撑万亿参数模型的幕后英雄