上一篇讲了如何本地化部署llamafactory，本篇以llamafactory自带的数据集-identity为例，讲述如何进行微调训练并进行测试。

---

1.修改identity文件

llamafactory拉取源码后，在llamafactory-data文件夹中，你可以看到一个identity.json文件，这个是其自带的数据集。通过ctrl-H命令，可以将模型的“name”、“author”进行替代。康师傅这边就将“name”替换为“kangshinefly”，“author”替换为“康师傅”。批量替换后进行保存。

2.llamafactory微调设置

在端口命令行中输入“llamafactory-cli webui”命令，打开微调页面。

2.1选择模型名称、模型路径

模型名称：以我们使用的DeepSeekR1模型为例，我们在魔搭社区中下载的模型全称为“deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B”，因此我们选择模型的时候，一定要选中对应的版本，选择DeepSeek-R1-1.5B-Distill，如下：

模型路径：默认的是相对路径，如果你本地没有下载模型，那这边可以使用默认选项，同时模型下载源选择modelscope。但是如果本地已经下载好了大模型，那这边你一定要使用你大模型的绝对路径，否则llamafactory会自动去魔搭社区下载你选择的模型。

2.2对话模板

qlora本篇暂不涉及，默认选项即可。这边有个需要注意的是，对话模板一定要根据你的模型去选择。不同的大模型有不同的对话模板，如果未选择正确，会很大程度影响你的微调效果。这边使用的是DeepSeek R1 1.5B模型，所以我这边对话模板选择deepseekr1。

2.3训练参数

默认使用fine-tuning方式，它其实是微调模型最后一层前的若干层的参数，很适用于体量较小的数据集。数据集选择我们刚刚修改的identity.json数据集，点击预览可以查看我们选择的数据集。

2.4训练轮数

训练轮数（Epoch）是指模型在训练过程中，遍历整个数据集、完成前向、反向的次数。这个一般只要你条件允许，往大了整，一般我会设置10000左右，但是自我认知的这个数据集很小，为了给大家演示，我先设置个3000，给大家看一下。

2.5截断长度、批处理大小

截断长度是指分词器分词后，到多大长度就自动截断。这个要大于数据集中的最大长度。像identity数据集中，最大的长度比较短，我们这边设置为256即可。

批处理大小：这个根据你服务器的显存大小而定，是指每个GPU处理的样本数量，可以不断的尝试，尽量充分利用你的GPU，达到80%-85%最佳，这是批处理量为20的GPU状态。

批处理量改为65的时候，康师傅租的4090/显存24G，我试了下，此时GPU占比84%，是一个比较合适的batch size。大家以后正常跑项目的话，这个batch size一定要不断的尝试，尽量把GPU用到80%-85%，如果出现OOM（out of memory），就把这个值往下调整一下。

2.6日志间隔和保存间隔

日志间隔：每两次日志输出间隔的部署。默认值为5，那就是每跑5个epoch，就输出一次日志，如下

保存间隔：即大模型跑多少次完整的数据，就输出一个权重文件，这个权重文件就是后面用来微调大模型的，一般使用默认值100即可。

2.6开始训练

将所有的训练参数添加完毕后，点击开始，则llamafactory开始训练模型，查看云服务器的后端，模型已经开始跑了。

2.6.1llamafactory进度查看

微调开始后，可以在llamafactory页面或者后台查看当前的微调动态。会定时输出日志，查看当前的running次数以及loss值，loss值只要处于下降趋势，那么模型就是正常在跑，静等模型跑完即可。

在日志界面，我们可以看到当前的DeepSeek-r1模型现在每5个epoch输出一个日志，loss值从初始的4.18开始逐步下降，一般loss值到0.01左右的时候就差不多了。

2.6.2过程查询

过程中，我们一般主要根据模型的epoch日志和loss查看模型的微调效果，这是我跑完3000个epoch的整个loss曲线。

从图中可以看出，其实在大概300个epoch的时候，我的loss已经趋于拟合状态，后面及时再怎么训练，loss值是几乎没有变化的。我这边主要是为了给大家演示模型训练的过程，大家下去上手尝试的时候，对于这个identity.json数据集来讲，大概5/600个epoch就够了。

同时图上的original代表的是实际loss曲线，smoothed曲线代表平滑曲线，做过处理方便大家看趋势的曲线

2.6.3模型测试

模型微调结束后，会在llamafactory-saves里按照你的设定保存该模型微调的权重文件，如图所示，我们这边每100个epoch保存一次权重文件，我们这边使用最后一次的权重文件，选中checkpoint-3000文件夹，复制其绝对路径。

返回llamafactory操作页面，在检查点路径中添加你刚刚复制的权重文件的绝对路径，然后点击加载模型。

加载模型后，选择Chat。进入测试窗口，因为我们这个微调主要针对的是自我认知，因此我就问它一些关于你是谁，请介绍自己，你能干啥之类的，结果如下图所示，它基本可以按照我们的训练结果输出对应的回答。例如，回答其是“kangshinewater”，是由。。。创作的。

---

下一篇康师傅会将我们现在训练后的权重文件与模型进行合并，形成微调后的新模型，同时介绍本地安装书生系列的微调工具XTuner。

想入门 AI 大模型却找不到清晰方向？备考大厂 AI 岗还在四处搜集零散资料？

别再浪费时间啦！2025 年 AI 大模型全套学习资料已整理完毕，从学习路线到面试真题，从工具教程到行业报告，一站式覆盖你的所有需求，现在全部免费分享！

👇👇扫码免费领取全部内容👇👇

​

一、学习必备：100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT，帮你看透 AI 趋势

想了解大模型的行业动态、商业落地案例？大模型电子书？这份资料帮你站在 “行业高度” 学 AI：

1. 100+本大模型方向电子书

2. 26 份行业研究报告：覆盖多领域实践与趋势

报告包含阿里、DeepSeek 等权威机构发布的核心内容，涵盖：

• 职业趋势：《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》；
• 商业落地：《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》；
• 领域细分：《AGI 在金融领域的应用报告》《AI GC 实践案例集》；
• 行业监测：《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。

3. 600+套技术大会 PPT：听行业大咖讲实战

PPT 整理自 2024-2025 年热门技术大会，包含百度、腾讯、字节等企业的一线实践：

• 安全方向：《端侧大模型的安全建设》《大模型驱动安全升级（腾讯代码安全实践）》；
• 产品与创新：《大模型产品如何创新与创收》《AI 时代的新范式：构建 AI 产品》；
• 多模态与 Agent：《Step-Video 开源模型（视频生成进展）》《Agentic RAG 的现在与未来》；
• 工程落地：《从原型到生产：AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。

二、求职必看：大厂 AI 岗面试 “弹药库”，300 + 真题 + 107 道面经直接抱走

想冲字节、腾讯、阿里、蔚来等大厂 AI 岗？这份面试资料帮你提前 “押题”，拒绝临场慌！

1. 107 道大厂面经：覆盖 Prompt、RAG、大模型应用工程师等热门岗位

面经整理自 2021-2025 年真实面试场景，包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题，每道题都附带思路解析：

2. 102 道 AI 大模型真题：直击大模型核心考点

针对大模型专属考题，从概念到实践全面覆盖，帮你理清底层逻辑：

3. 97 道 LLMs 真题：聚焦大型语言模型高频问题

专门拆解 LLMs 的核心痛点与解决方案，比如让很多人头疼的 “复读机问题”：

三、路线必明：AI 大模型学习路线图，1 张图理清核心内容

刚接触 AI 大模型，不知道该从哪学起？这份「AI大模型 学习路线图」直接帮你划重点，不用再盲目摸索！

路线图涵盖 5 大核心板块，从基础到进阶层层递进：一步步带你从入门到进阶，从理论到实战。

L1阶段:启航篇丨极速破界AI新时代

L1阶段：了解大模型的基础知识，以及大模型在各个行业的应用和分析，学习理解大模型的核心原理、关键技术以及大模型应用场景。

L2阶段：攻坚篇丨RAG开发实战工坊

L2阶段：AI大模型RAG应用开发工程，主要学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。

L3阶段：跃迁篇丨Agent智能体架构设计

L3阶段：大模型Agent应用架构进阶实现，主要学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造Agent智能体。

L4阶段：精进篇丨模型微调与私有化部署

L4阶段：大模型的微调和私有化部署，更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调，并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。

L5阶段：专题集丨特训篇 【录播课】

四、资料领取：全套内容免费抱走，学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：

👇👇扫码免费领取全部内容👇👇

​

2025 年想抓住 AI 大模型的风口？别犹豫，这份免费资料就是你的 “起跑线”！