BLIP-2通过利用预训练的视觉模型和语言模型来提升多模态效果和降低训练成本，预训练的视觉模型能够提供高质量的视觉表征，预训练的语言模型则提供了强大的语言生成能力。如下图所示，由一个预训练的，一个预训练的和一个可学习的Q-Former组成。image.png：负责从输入图片中提取视觉特征。：负责文本生成。Q-Former：负责弥合视觉和语言两种模态的差距，由和两个子模块构成，它们共享相同自注意力层

近年来，多模态大模型（Multimodal Large Language Models, MLLMs）在人工智能领域取得了显著的进展，特别是在自然语言处理、计算机视觉和多模态理解方面。这些模型能够理解和生成多种类型的数据，如文本、图像、音频和视频，为多模态学习和应用提供了强大的工具。今天给大家汇总了13个开源多模态大模型，这些模型在各自的领域中刷新了多个SOTA记录，每个模型都将附上相关的论文和代

本文详解LangChain两种智能体架构：create_react_agent采用文本推理，透明展示思考过程，易于调试；create_tool_calling_agent基于函数调用，效率更高，适合生产环境。通过代码示例对比两者工作原理，帮助开发者根据需求选择合适架构，是构建大模型应用的实用指南。

多模态大模型是AI领域的革命性突破，能够同时处理和理解文本、图像、音频、视频等多种数据模态，突破了传统单模态AI的局限。相比大语言模型，它具备更强的跨模态理解能力和应用场景，可执行图像生成、视觉问答、图像检索等任务，在医疗、教育、客户服务等领域有广阔应用前景。尽管面临资源消耗大等挑战，多模态大模型正推动AI向更接近人类认知的方式发展。

随着大模型的迅猛发展，LLM 作为人工智能的核心力量，正以前所未有的方式重塑着我们的生活、学习和工作。无论是智能语音助手、自动驾驶汽车，还是智能决策系统，大模型都是幕后英雄，让这些看似不可思议的事情变为可能。1. LLM基础知识3. RAG的应用4. Agent的应用5. 多模态模型1. LLM基础知识1.1 LLM基本概念从字面意思来讲，LLM 是 Large Language Model 这三

文章介绍两大技术主题：一是组合式多模态RAG技术的全面梳理，涵盖不同输入输出组合、核心流程和训练策略；二是OntoMetric方法，采用"结构感知分割+本体引导抽取+两阶段验证"思路，解决ESG知识图谱构建中的实体不一致、关系幻觉等问题。

本文介绍Transformer模型中解决词序感知问题的三种位置嵌入方法：函数编码(sin/cos)、可学习位置嵌入和旋转位置编码(RoPE)。RoPE通过旋转词向量捕捉相对位置关系，配合PI和YaRN扩展方法可处理长文本输入。这些技术使模型能够理解语言中的顺序信息，解决了Transformer无法感知词序的关键缺陷。

大模型太多、应用却太少，大模型要跑起来、更要用起来……怎样走好大模型落地应用“最后一公里”，成为近期业内外探讨的焦点。“百模大战”打响，并非言过其实。目前，通过国家网信办备案的大模型已达190多个，注册用户超6亿。今年来，各家大模型全面降价，甚至一降到底免费调用。“不要去卷模型了，卷应用吧”，某知名企业多次表达这一观点，映射出大模型赛道竞争已进入卷生态、拼“获客”新阶段。从百花齐放到场景落地，大模

知识，作为企业最宝贵的资产之一，其有效管理和应用成为企业提升竞争力的关键。然而，传统的知识管理系统往往存在信息孤岛、检索效率低下、知识更新滞后等问题，难以满足企业快速响应市场变化的需求。基于大模型的知识助手应运而生，它以其强大的语义理解和数据处理能力，正在成为企业知识管理的最佳解决路径，有效打通了企业知识应用的“最后一公里”，为企业知识管理带来了革命性的变革。基于大模型的知识助手不仅能够自动整合企

本文介绍了使用Ollama+Deepseek+MaxKB搭建企业级本地知识库的完整流程。内容包括Docker安装MaxKB，配置Ollama模型，创建知识库上传文档，以及构建智能问答应用。方案强调数据安全和检索效率，适合企业知识管理需求。最后还展示了如何将系统嵌入第三方应用，实现更广泛的应用场景。