简单来说，模态对齐是指让模型理解不同模态（如文本、图像、音频）的数据所指代的其实是同一个概念或语义，并在其内部表示空间中，将这些不同来源但含义相同的信息映射到相近的向量表示。一张“猫坐在毯子上”的图片，和一段文字描述“猫坐在毯子上”，以及一段语音在说“猫坐在毯子上”。尽管它们的原始数据形式（像素、字符、声波）天差地别，但经过对齐的模型应该能在其内部表示中，认识到这三者共享一个非常相似的核心语义。对

OCRBench在10个文本相关任务上测评多模态大模型（LMM）的OCR能力，包含1000个问题-答案对，每个问题-答案对包含以下五个类别：index（索引），image（图片），question（问题），answer（回答），category（问题类别）。需要注意的是，在tsv文件中，图片使用Base64编码保存。Base64 编码可将二进制图像文件（PNG、JPEG、GIF）转换为紧凑的纯文本

Transformer超详细全解！含代码实战

数据集：是SFT的“教材”，由（指令， 期望回答）的配对组成。数据需要多样化、高质量，并且经过特殊格式化（如对话模板）以便模型理解。损失函数：是SFT的“考试评分标准”。它采用带掩码的交叉熵损失，计算模型在生成“回答”部分时，其预测的词与真实词之间的差距，并通过优化这个差距来教会模型如何更好地回答问题。数据集告诉模型“学什么”，损失函数告诉模型“学得怎么样”以及“如何改进”。y_ty_t。

DeepSeek-V4系列模型在架构和性能上实现重大突破，主要包括：1）引入混合专家(MoE)架构的DeepSeek-V4-Pro(1.6万亿参数)和DeepSeek-V4-Flash(2840亿参数)，支持百万token上下文；2）创新性采用压缩稀疏注意力(CSA)和重度压缩注意力(HCA)的混合机制，显著提升长文本处理效率，使推理FLOPs降至V3.2的27%；3）引入流形约束超连接(mHC)

DeepSeek-V4系列模型在架构和性能上实现重大突破，主要包括：1）引入混合专家(MoE)架构的DeepSeek-V4-Pro(1.6万亿参数)和DeepSeek-V4-Flash(2840亿参数)，支持百万token上下文；2）创新性采用压缩稀疏注意力(CSA)和重度压缩注意力(HCA)的混合机制，显著提升长文本处理效率，使推理FLOPs降至V3.2的27%；3）引入流形约束超连接(mHC)

组件功能实现特点视觉编码器提取图像特征基于CLIP的ViT-BigG强大的视觉特征提取能力视觉-语言适配器连接视觉与文本特征空间带位置注入的MLP/Cross-Attention核心创新点之一，注入空间位置信息大语言模型多模态信息融合与推理强大的语言理解和生成能力训练策略高效学习多模态能力三阶段（预训练->SFT->RLHF）循序渐进，高效且性能强大Qwen-VL架构的核心思想。

例如，用户上传一张心仪的家具照片，或输入一段描述如“带有金属腿的米色布艺沙发”，跨模态模型（如CLIP）能够将查询的视觉或文本特征与海量商品库的图文特征进行相似度计算，直接返回视觉风格或语义描述最匹配的商品，实现高效、直观的购物搜索。具体为：将输入图像分割成固定大小的图像块（Patches），然后将每个图像块线性投影为向量（类似NLP中的词嵌入），并加上可学习的位置编码以保留空间信息，从而形成一个

在Elasticsearch中创建一个名为"my_index"的索引，并定义其映射（mapping）。总结：这段代码创建了一个用于向量相似度搜索的索引，可以存储文本内容和对应的128维向量，并支持使用余弦相似度进行近似最近邻搜索。HNSW是当前最流行、综合性能最佳的ANN索引之一，被Faiss、Milvus、Elasticsearch等广泛采用。企业搜索，混合检索，已有ES生态的应用。）不同，向量

这是最直接和有效的方法，因为深度图像提供了每个像素的深度值，结合相机内参（如焦距和主点），可以将2D像素坐标转换为3D点云坐标，从而实现点云与图像的自然对齐。根据手眼标定的基本原理和常见实践，计算相机和机械臂的相对位姿通常采用标准方法：使用机械臂移动标定板，通过测量标定板在不同位置时相机的位姿，然后利用这些数据求解相机与机械臂之间的变换关系（即解决AX=XB问题）。ICP算法通常用于3D点云之间的