为RAG系统注入了主动性和推理能力，使其从“信息搬运工”变为“问题解决者”。则扩展了RAG系统的感知维度，使其能从丰富多彩的现实世界中获取和整合信息。两者都是传统RAG面向复杂现实应用场景的必然演进。当前的技术发展正迅速将两者结合，朝着构建更通用、更强大、更像“人”的AI助手方向迈进。在设计这类系统时，需要重点考虑模块化（便于扩展新工具或模态）、评估体系（如何评估复杂交互的性能）和成本控制（多模态

特性vLLMTGI核心理念最大化吞吐量，通过PagedAttention极致优化显存生产级鲁棒性，提供企业级功能与平衡的性能最大优势共享前缀场景下吞吐量无敌，显存利用率最高开箱即用的生产工具，监控、安全、流式支持完善适用场景高并发API、批量文本生成、多输出采样企业生产部署、深度HF生态集成、强流式需求监控提供基础Prometheus指标提供非常专业和完善的Prometheus指标与Grafana

召回（Retrieval）：使用快速的向量检索模型（如， 双塔模型）从海量文档库中初步筛选出Top-K（例如100个）最相关的候选文档。重排序（Reranking）：使用一个更强大但更耗时的模型，对召回阶段得到的Top-K个候选文档进行精细化评分和重新排序，筛选出最相关的Top-N（例如3-5个）文档，再交给大模型生成最终答案。为什么需要重排序？向量检索的局限性：第一阶段的向量检索（双塔模型）追求

与一个或多个。

OCRBench在10个文本相关任务上测评多模态大模型（LMM）的OCR能力，包含1000个问题-答案对，每个问题-答案对包含以下五个类别：index（索引），image（图片），question（问题），answer（回答），category（问题类别）。需要注意的是，在tsv文件中，图片使用Base64编码保存。Base64 编码可将二进制图像文件（PNG、JPEG、GIF）转换为紧凑的纯文本

RAG 是一项强大的技术，通过将大型语言模型的强大生成能力与外部知识检索相结合，有效地弥补了大模型在知识时效性、事实准确性和特定领域知识方面的不足。它提供了一种相对低成本、高效率的方式来构建能够利用最新、特定信息的知识型应用。尽管存在检索质量、上下文整合等挑战，但随着嵌入模型、向量数据库和提示工程技术的发展，RAG 已成为构建实用、可靠、可解释的 AI 应用（尤其是问答和知识密集型任务）的主流架构

初始化方法描述优点缺点适用场景零初始化(B=0)LoRA原始方法，保证训练起点不变。简单，稳定。存在“启动延迟”，收敛慢。现已不常用，作为理解的基础。Kaiming/He初始化A用Kaiming初始化，B初始为0。理论扎实，收敛快且稳定，广泛适用。通用推荐，默认选择。非零初始化A和B都用高斯分布初始化。解决了启动问题。起点引入噪声，可能不稳定。可以尝试，但需要调参。SVD初始化利用全微调增量的SV

MCP（Model Context Protocol）是一个革命性的开放协议，它通过标准化 LLM 与外部工具和数据源的交互方式，安全、高效地打破了AI模型的“信息茧房”和“无能之困”。它不仅是技术上的进步，更是生态和理念上的开放，为构建真正强大、实用且可控的AI应用奠定了坚实的基础。

GPT和BERT基于Transformer。因此不是所有模型都基于Transformer。ELMo是双向的（使用双向LSTM），BERT是双向的，但GPT是单向的（仅从左到右生成），因此不是所有模型都是双向的。ELMo、GPT和BERT都能生成上下文相关的词嵌入，因此都能解决一词多义问题。ELMo、GPT和BERT都依赖于大规模文本语料进行预训练，这是它们的共同特点。1.（多选）以下选项中属于el

简单来说，模态对齐是指让模型理解不同模态（如文本、图像、音频）的数据所指代的其实是同一个概念或语义，并在其内部表示空间中，将这些不同来源但含义相同的信息映射到相近的向量表示。一张“猫坐在毯子上”的图片，和一段文字描述“猫坐在毯子上”，以及一段语音在说“猫坐在毯子上”。尽管它们的原始数据形式（像素、字符、声波）天差地别，但经过对齐的模型应该能在其内部表示中，认识到这三者共享一个非常相似的核心语义。对