多模态大型语言模型（MLLM）像是一位多才多艺的艺术家，既能理解文字，又能看懂图片，甚至还能回答关于图片的问题，为复杂的任务提供解决方案。多模态编码器：信息的接收者想象一下，你面前有一张图片和一段文字。MLLM的第一个任务就是理解这两者。多模态编码器就是这个理解过程的起点，它像一个高效的信息接收器，能够同时处理视觉和语言信息。基本上都是选择CLIP预训练模型。这种方法有助于更好地对齐视觉和文本输入

多模态大型语言模型（MLLM）像是一位多才多艺的艺术家，既能理解文字，又能看懂图片，甚至还能回答关于图片的问题，为复杂的任务提供解决方案。多模态编码器：信息的接收者想象一下，你面前有一张图片和一段文字。MLLM的第一个任务就是理解这两者。多模态编码器就是这个理解过程的起点，它像一个高效的信息接收器，能够同时处理视觉和语言信息。基本上都是选择CLIP预训练模型。这种方法有助于更好地对齐视觉和文本输入

OpenCompass，也称为“司南”，是由上海人工智能实验室发布的一个开源的大模型评测体系，已经成为目前权威的大型模型评估平台。作为一站式的大模型评估平台，它不仅量化了模型在知识、语言、理解、推理等方面的能力，还推动了模型的迭代和优化。其主要特点包括：对模型和数据集支持丰富：支持20+HuggingFace和API模型，70+数据集的模型评估方案，约40万个问题，从五个维度全面评估模型的能力分布

例如开发公司手册的知识专属大模型，如果不对大模型问答范围进行约束，一来该专属领域大模型应用的专属特征丢失了，二来对于无用问题，容易对模型资源造成浪费，如果存在一定信息存储和多轮对话功能，那么浪费将会更严重。

Olama是一个旨在简化大型语言模型本地部署和运行过程的工具。它提供了一个轻量级、易于扩展的框架，让开发者能够在本地机器上轻松构建和管理LLMS。通过Olama，开发者可以访问和运行一系列预构建的模型，并与其他开源项目、应用程序进行耦合实现大模型应用开发。Ollama支持多场家、多尺寸、多模态的各类大模型。

大模型数据侧的一点总结内容，包括数据类型的两个维度划分以及大模型数据集生成方法和注意事项。

完结，撒花！

一个完整的包含 CoT 的 Prompt 往往由指令（Instruction），逻辑依据（Rationale），示例（Exemplars）三部分组成。一般而言指令用于描述问题并且告知大模型的输出格式，逻辑依据即指 CoT 的中间推理过程，可以包含问题的解决方案、中间推理步骤以及与问题相关的任何外部知识，而示例则指以少样本的方式为大模型提供输入输出对的基本格式，每一个示例都包含：问题，推理过程与答案

大模型开发框架，最基本、通用框架之一。langchain六大组成：1.模型，对模型的加载和使用。2.提示词，不同的任务使用不同prompt，管理和优化这些prompt。3.链，初步理解为具体任务中不同子任务之间的调用。4.数据增强的生成，数据增强生成涉及特定类型的链，首先与外部数据源交互以获取数据用于生成步骤。对长篇文字的总结和对特定数据源的提问/回答——即RAG，可以理解数据增强为一种特殊的链。

简单来说，大模型RAG，即Retrieval-Augmented Generation，是一种结合了检索和生成能力的预训练语言模型。它由两部分组成：一个检索系统和一个生成模型。由上，可以简单总结RAG实现过程。应用侧：需求——知识库检索——结果召回——LLM 提示词、Agent等有关开发——LLM结合需求+知识库检索结果进行回答——结束实现侧：文档上传——文本分段和清洗——嵌入模型选型、文本嵌入—