数据集的格式要求在不同的阶段是不同的，本教程以sft阶段的数据集需求，将以系统自带的identity数据集和将自定义的一个商品文案生成数据集为例，介绍数据集的使用。更多详情可以在https://github.com/hiyouga/LLaMA-Factory/blob/main/data/README_zh.md 中找到相关解释。系统目前支持 alpaca 和sharegpt两种数据格式，以alp

多模态大模型近来比较热门，接二连三的出现了不少模型，比如LLaVA，miniGPT4，InstructBlip，Kosmos-2等，模态由图片扩展到视频/语音/3D等。火到什么程度呢？一来是在图像领域只要是输出能够转成文本的任务都在尝试通过大模型来实现，甚至detection，segmention这种的任务。二来，文本大模型中有的多模态大模型也要有，像什么in-context learning，C

在本文的结尾，我们将结合理论与代码，基于动物图像及描述的数据集，详细介绍如何实现上述两种多模态检索方法。最终，该系统将能够处理用户查询，返回相关图像和文本数据，为多模态检索增强生成（RAG）应用程序提供强大的检索机制。

从 LLaVA 到 Qwen-VL，从 GPT-4V 到 Claude 3，幻觉（Hallucination）问题一直是当前多模态大模型（MLLM）的重要问题。当前大多数的多模态大模型对于用户提供的图像和提问，容易因为幻觉给出非常离谱的回答，例如说出图像上根本不存在的事物，识别出与图像上物体的颜色、数量和位置关系不符的特征。而这一现象，在多模态大模型生成较长回答时尤其常见。

我们前面几篇博文中出现的大模型，都是通用的大模型。但在更专业的领域，需要更专业的模型，这就需要用到模型微调的能力。从NLP范式发展的趋势来看，prompt+模型的方式已经成为主流，已经很成熟了，在进行模型微调之前最好确信自己需要这样做。

在这篇文章中，我们将尽可能详细地梳理一个完整的 LLM 训练流程。包括模型预训练（Pretrain）、Tokenizer 训练、指令微调（Instruction Tuning）等环节。

通过以上步骤，我们成功地在本地环境中部署了 Ollama、Open WebUI 和 Deepseek-R1-14b 模型，并配置了相关的 API 接口。这一过程非常适合希望将 AI 技术应用到本地开发中的开发者。在未来，随着更多模型和功能的加入，Open WebUI 将成为更加强大的 AI 部署平台。

大模型技术架构从纯Prompt的简单对话，到Agent + Function Calling的主动交互，再到RAG的高效检索，最终到Fine-Tuning的深入学习，每一种架构都有其独特的优势和应用场景。理解这些技术架构的特点和适用范围，有助于我们更好地利用人工智能技术来解决实际问题，提升工作和生活的效率。希望通过这篇文章，你能对大模型技术架构有一个更清晰的认识，并在未来的工作和学习中灵活应用这些

本文主要是 Milvus 向量数据实战总结。• LLM 痛点以及解决方案• RAG 是什么，为什么选用RAG。•langchain文档加载器，chat model• 文档拆分的注意点，chat model区别。• chat 示例代码。​。

Unsloth 现在可以在 Windows 上运行！🦥无需 Linux 或 WSL，即可在 Windows 上本地微调 LLM。直接安装最新版本的 GPU 驱动程序。默认情况下，C++ 不会随 Visual Studio 一起安装，因此请确保选择所有 C++ 选项。还要选择适用于 Windows 10/11 SDK 的选项。