我们都知道大模型训练需要提供数据，企业常见的数据有网页、Word、PDF 等文档数据，那么能否直接把 Word、PDF 和网页直接给大模型训练呢？答案是否定的，因为这些文档格式不统一、内容分散且未经处理，难以直接用于训练，那么大模型训练需要的数据到底长什么样？

本文主要分享如何使用 LLaMAFactory 实现大模型微调，基于 Qwen1.5-1.8B-Chat 模型进行 LoRA 微调，修改模型自我认知。本文的一个目的：基于模型进行微调，修改模型自我认证。修改前对于模型，用户问你是谁？时模型一般会回答我们希望在微调之后，对于同样的问题，模型能回答。

提示工程、微调和检索增强生成（RAG）是三种主要优化大型语言模型输出的方法。

大模型很多技术干货，都可以共享给你们，如果你肯花时间沉下心去学习，它们一定能帮到你！

参考 Finetune LLaVA on Custom Datasets[13]将训练样本以列表的形式保存到 json 文件，其中每一个样本是一个字典，它至少包含三个字段：• id：全局唯一的字符串• image：图片的路径，可以是绝对路径，也可以是相对于image_folder的相对路径• conversations：人类和语言模型的对话完成数据的处理后，修改 finetune.sh[14] 中

Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，我们对 Llama 3 进行了微调！！！今天手把手教大家使用 XTuner 微调 Llama 3 模型。

微调作为一种技术手段，是在已具备广泛知识基础的大型预训练语言模型上，利用针对性的数据集实施额外的训练过程，旨在使模型更精准地契合特定任务需求或深入某一专业领域。微调的核心目标在于实现知识的精细化灌输与指令系统的精确匹配。大模型的SFT（Supervised Fine-Tuning）方式主要包括以下几种：1.全参数微调（Full Parameter Fine Tuning）：全参数微调涉及对模型的所

现在大模型预训练，大家其实最关注的就是这个loss的收敛效果。这个时候，LR schedule的出现就是一个比较好的补充，能够补足优化器的一些问题。所以，你可以理解为，现在我们没有一个完美的油门，所以搞了俩油门，互相辅助。优化器是个老司机的油门，好用，但人类的经验是有局限性的，很容易陷入局部最优跑不出来。LR schedule像是一个全局的油门，定期更新，帮助老司机跳出局部最优。

是一款开箱即用的一体化 AI 应用，支持 RAG（检索增强生成）、AI 代理等功能。它无需编写代码或处理复杂的基础设施问题，适合快速搭建私有知识库和智能问答系统。通过和Ollama的结合，我们成功搭建了一个具备私有知识库能力的 AI 应用。私有知识库不仅可以让 AI 回答通用问题，还能基于私有文档（如企业内部资料、图书等）生成更精准的答案。❝注意： 随着知识库中文档数量的增加，回答的准确性可能会受

如果你真的想学习大模型，请不要去网上找那些零零碎碎的教程，真的很难学懂！你可以根据我这个学习路线和系统资料，制定一套学习计划，只要你肯花时间沉下心去学习，它们一定能帮到你！