微调实战系列补充篇。前面写过微调选型、LoRA调参、数据处理，这篇补上闭环里最容易被跳过的一环——评估。

说难听点：训完模型看两眼回复就上线的，不是在部署模型，是在部署玄学。

这篇的四个坑：用训练集自欺欺人、只盯准确率单指标、迷信自动评分、评估一次就收工。每个坑都配了修复方案和可直接抄的指标表。

---

坑1：拿训练集里的数据去考模型——分数虚高的自嗨

翻车现场

微调完行业问答模型，随手从训练数据里抽了20条问它，准确率95%+，当场兴奋地写部署方案。上线一周，真实用户问的问题是训练数据里没出现过的问法，准确率掉到60%多。

后背发凉的地方想深一层：模型不是学会了知识，是把训练集背下来了。拿训练集考试，考的是记忆力，不是能力。

Python人秒懂：这就是在单元测试里把被测函数的实现复制进断言——测试永远绿，永远没用。

根因

评估数据和训练数据没有隔离。更隐蔽的是"准隔离"：数据清洗时按来源切分，但同一模板生成的样本横跨两边——模型见过模板，等于见过答案。

修复：三隔离原则

• 来源隔离：验证集/测试集与训练集无交集；

• 模板隔离：同一问法模板的样本只进一个集合；

• 时效隔离：测试集要有训练数据截止后的新样本，防"背时事"。

防线	做法	挡住什么
来源隔离	集合间零交集	数据泄露
模板隔离	同模板单集合	模板记忆
时效隔离	测试集含新样本	时效性幻觉

三条叠加，测出来的分数才是模型真实能力。

---

坑2：只看准确率一个指标——能力合格，工程一塌糊涂

翻车现场

另一个模型，行业问答准确率91%，看着很美。上线后用户投诉"回答要等好几秒"，压测一跑：单请求延迟2.8秒，QPS只有3。模型能力是达标了，工程上根本没法用。

根因

把"评估"窄化成了"能力打分"。微调模型的评估至少是四个维度：能力、性能、鲁棒性、合规性。能力只占其中一角，性能（延迟/吞吐/显存）才决定能不能落地。

修复：四维评估矩阵

维度	核心指标	合格线参考（按场景调）
能力	任务准确率、F1、行业问答准确率、人工评分	核心任务≥90%，行业问答≥85%
性能	推理延迟RT、QPS、tokens/秒、显存占用	RT≤500ms，显存≤16GB
鲁棒性	噪声输入准确率、输出一致性	含错别字输入≥80%，一致性≥90%
合规性	有害内容率、敏感信息泄露率	泄露率=0

实践里可以再加一层权重（比如能力0.35、性能0.25、鲁棒性0.20、合规性0.20），综合≥85分且单项不低于70才算过。权重按你的场景调——离线批处理可以放宽延迟，在线客服不能。

---

坑3：迷信自动评分——BLEU很高，回答驴唇不对马嘴

翻车现场

文档摘要模型，BLEU跑了62分，信心满满给业务方演示。对方看完第一条就问："这摘要说的跟文档是一回事吗？"逐条看下来：文本流畅、用词和参考摘要接近，核心结论却抓错了。

根因

BLEU/ROUGE本质是文本重叠度，不是"理解正确性"。模型学会了摘要的"腔调"，没学会摘要的"任务"。自动指标对分类任务（准确率/F1）够用，对生成类任务天生有盲区。

修复：自动+人工双轨

• 自动层：BLEU/ROUGE 做回归测试，版本迭代时看指标别倒退；

• 人工层：抽50~100条，从相关性、专业性、流畅性三个维度按5分制打分，生成类任务人工评分≥4分才算过；

• 技巧：人工评估用固定评分表+同一批人，减少主观漂移。

工具上，入门组合用 Hugging Face Evaluate（自动指标）+ 自建评分表（人工） 就够；开源模型微调想系统化，再上 OpenCompass；要评估闭源模型或过合规，看 HELM 框架的思路。

---

坑4：评估一次就收工——上线三个月后悄悄变菜

翻车现场

上线前评估全绿，三个月后业务方反馈"越来越不准"。拉数据一看：用户真实问法分布和上线时测试集偏差越来越大，模型没变，场景漂移了。

根因

把评估当成"上线前一次性验收"。实际上评估是"微调→评估→优化"闭环里的常驻环节——上线只是评估换了数据源（从测试集换成真实用户反馈）。

修复：评估进闭环

• 上线前：测试集四维全量评估（坑2的矩阵）；

• 上线后：按周抽样真实请求重跑核心指标，波动>5%就触发排查；

• 迭代时：新版本必须与旧版本在同一测试集上对比，别拿两次不同的考试比分数。

---

总结：给模型出卷子的三条原则

1. 考卷要隔离：测试集与训练集来源、模板、时效三隔离，否则测的是记忆力；

2. 考四科不只考一科：能力/性能/鲁棒性/合规性四个维度，缺一个都是上线隐患；

3. 考试是常态不是仪式：上线前全量考，上线后抽样考，迭代时同卷对比。

工具不用贪多：入门 Hugging Face Evaluate + 人工评分表，进阶加 OpenCompass，企业合规再上商用检测。评估的本质不是打分，是给下一轮微调指方向。