1. 评估的基石与潜藏的裂缝：为什么我们需要审视机器学习评估

在机器学习的竞技场里，基准测试和模型比较是决定胜负的终极裁判。无论是学术论文里宣称的“新SOTA”，还是科技新闻头条中“超越人类”的模型发布，其背后都依赖于一套看似客观的评估体系：在标准数据集上跑分，用统一的指标排名。这套体系的原理很简单——通过控制变量，让不同模型在同一个“考场”里公平竞争，从而衡量其真实能力。这不仅是学术研究推进的燃料，更是工业界技术选型、资源投入和产品决策的核心依据。

然而，作为一名在算法研发一线摸爬滚打了十多年的从业者，我亲眼目睹了这个“考场”的规则正在被各种或明或暗的手段所侵蚀。评估，这个本应最严谨的环节，有时却成了最容易被“操作”的部分。我们常常看到这样的场景：一个模型在A团队的测试中表现卓越，但在B团队复现时却黯然失色；或者，一篇论文通过精妙的“技巧”让自家模型在特定榜单上登顶，但其宣称的“通用能力”在真实场景中却漏洞百出。这背后，往往不是模型能力的真实差距，而是评估实践本身出了问题。

这些“可疑实践”并非总是出于恶意。很多时候，它们源于巨大的发表压力、激烈的商业竞争，或者仅仅是研究流程中的疏忽与惯性。但无论动机如何，其结果都是一样的：它模糊了技术进步的真相，误导了社区的研究方向，浪费了宝贵的计算资源，并最终损害了整个领域的可信度。本文的目的，不是进行道德审判，而是像一位经验丰富的工程师检修精密仪器一样，拆解机器学习评估中那些可能“失准”的环节。我们将深入探讨从数据准备、基准选择、提示工程到结果报告的整个链条，看看公平性是如何在不知不觉中流失的，以及我们作为从业者，该如何构建更坚实、更透明的评估防线。

2. 数据与分割的“魔术”：训练与测试集构建中的陷阱

评估的起点是数据。一个模型性能的好坏，首先取决于它是在什么样的数据上被衡量。这里的第一步——将数据分割为训练集和测试集——看似基础，实则暗藏玄机。一个不恰当的分割，足以让任何严谨的评估结论失去根基。

2.1 数据泄露：当测试集不再“陌生”

最经典也最危险的问题之一是 数据泄露 。理想情况下，测试集对于训练过程应该是完全未知的，用以模拟模型面对全新数据时的表现。但泄露发生时，模型在训练阶段以某种形式“见过”或“学过”测试数据的信息，导致测试性能虚高，严重高估其泛化能力。

一种隐蔽的泄露形式是 基于结构的泄露 。这在分子性质预测、图像分类等任务中尤为常见。例如，在预测药物分子的活性时，如果简单地随机分割分子，可能会使结构高度相似（Tanimoto相似度很高）的分子分别进入训练集和测试集。模型在训练时学到了某个分子支架的特征，在测试时遇到其“近亲”，自然能轻松预测，但这并不能证明模型理解了真正的构效关系。这好比在葡萄园产量预测中，将相邻的、土壤、品种、管理方式都几乎相同的两块地随机分入训练和测试集，模型学到的可能只是这片特定小区域的局部特征，而非普适的产量预测规律。

另一种更主动的泄露是 脏意译 。特别是在大语言模型的指令微调阶段，研究者可能会将测试集中的问题，通过改写、复述、转述等方式，主动加入到训练数据中。虽然字面上不同，但语义完全一致。这相当于在考试前，老师把考题换了个说法透露给了学生。模型在测试时遇到的不过是“换汤不换药”的老问题，其“高分”反映的是记忆能力，而非理解和推理能力。随着数据集不断扩展，这种语义重复的样本被无意纳入训练集的可能性也在增加，使得评估结果的解读变得更加复杂。

注意 ：防范数据泄露需要从数据集的源头设计入手。对于可能存在的结构相似性（如图像、分子、地理数据），应采用基于聚类的分层采样或基于图的划分方法，确保相似样本被归入同一集合（训练或测试），而不是随机分散。对于文本数据，应使用去重工具（如MinHashLSH）在语义层面进行严格去重。

2.2 分割黑客：寻找“简单模式”的测试集

即使没有数据泄露，分割过程本身也可能被“黑客”行为操纵。这被称为 训练/测试分割黑客 。具体做法是：不采用一次性的随机分割，而是反复多次随机分割数据集，并观察每次分割后模型在测试集上的性能，最终选择那个让模型表现“最好”的分割方案作为报告结果。

这种做法为什么有问题？因为任何数据集都包含一定的内在模式或难度分布。通过多次随机尝试，你大概率能找到这样一个测试集：它恰好包含了更多模型擅长处理的简单样本，或者其分布与训练集高度重合。这样得到的“优异”性能，并不能代表模型在从总体数据分布中随机抽取的任意测试集上的真实水平。现代许多权威基准（如GLUE、SuperGLUE、MMLU）会由创建者预先固定好训练/测试分割，正是为了封杀这个“自由度”，迫使所有研究者站在同一起跑线上。

然而，当研究者使用自建的新数据集时，这个自由度又回来了。更糟糕的是，这种黑客行为可以用来 暗中削弱基线模型 。例如，在对比自己的新方法和竞争对手的旧方法时，为自己的方法使用一个通过“分割黑客”找到的、相对简单的测试集分割方案，而为基线方法使用另一个更困难的分割方案（或者直接使用对方论文中报告的、在其特定分割下的结果）。这种不对等的比较，会人为地放大新方法的优势。

实操心得 ：在使用自建数据集时，最稳妥的做法是 预先定义并公开你的分割策略 。例如，可以按时间划分（用旧数据训练，新数据测试），按主题/类别分层采样，或使用社区认可的工具（如 scikit-learn 的 StratifiedShuffleSplit ）并固定随机种子。在论文中，必须明确说明分割依据，并将分割代码开源。比较基线时，应确保所有方法都在 完全相同的 数据分割上进行评估。

3. 基准与比较的“艺术”：如何让模型看起来更强大

选定了数据，接下来就是选择“考题”——基准测试，以及决定“比赛规则”——如何运行和比较模型。这个环节充满了主观选择和优化空间，也因此成为可疑实践的重灾区。

3.1 基准黑客：只考我会的题

基准黑客 指的是通过精心挑选或设计基准测试，来使自己的模型显得更出色。最直接的形式是“选择性报告”：在多个基准上测试后，只挑那些自己模型表现优于竞争对手的基准列入主报告或摘要，而对表现不佳的基准避而不谈。

另一种形式是使用 过时或过于简单的基准 。如果一个任务已经被充分研究，现有模型的性能已经接近天花板（例如准确率超过99%），那么在这个基准上提升0.1%的意义非常有限，但宣称“刷新SOTA”却依然能吸引眼球。幸运的是，在LLM评估领域，社区已经逐渐收敛到一组公认的、难度较高的核心基准，如MMLU（大规模多任务语言理解）、GSM8K（小学数学应用题）、MATH（数学竞赛题）、GPQA（专业领域QA）和HumanEval（代码生成）。当一个新模型发布时，如果它刻意回避报告其中某个关键基准的分数，就值得警惕。

更隐蔽的一种做法是 整体回避某些难题 。例如，抽象与推理语料库（ARC）被认为是对当前LLM推理能力的极大挑战，但许多主流模型发布时都选择不报告其ARC成绩。这虽然不影响模型之间的相对排名，但却将公众注意力从方法的根本性弱点上引开，也是一种形式的基准黑客。

最有害的情况是，当一个相对简单的任务因为历史原因或营销效应，被错误地“物化”为衡量某种通用能力的标准。例如，HellaSwag基准原本设计用于测试特定叙事场景下的常识推理，且数据中存在一定的标签噪声。但它经常被笼统地引用为“常识推理能力”的测试，这种过度概括模糊了基准的真实含义和局限性。

3.2 子集黑客：在难题中挑选软柿子捏

当基准整体难度很高时，另一种策略是 子集黑客 。由于全面评估大型模型成本高昂（计算资源和时间），一些研究团队会选择使用基准的一个子集进行测试。子集的选择就成为了一个新的“自由度”。

黑客行为可以表现为：

1. 反复生成子集 ：不断随机采样生成测试子集，直到找到一个你的模型恰好表现较好的子集（可能该子集包含的题目类型更简单）。
2. 难度分层采样 ：如果基准标注了题目难度（如MATH），在构建子集时，可以有倾向性地从较简单的难度层级中抽取更多题目。
3. 基于结果的筛选 ：先在完整测试集上用高采样次数（如k=50）运行模型，然后只选取那些你的模型能够稳定答对的“难题”来构建一个“代表性”子集。这实际上是用模型的表现来反向定义测试集，完全违背了评估的初衷。

提示 ：应对子集黑客，最透明的做法是由基准的创建者提供官方推荐的、经过难度和主题平衡的验证子集或“开发集”。如果必须自行划分子集，应预先确定采样策略（如分层随机采样）并固定随机种子，且在论文中明确报告子集的构成细节（如题目ID列表）和采样随机种子。

3.3 工具链黑客：当评估代码本身成为变量

我们通常默认，同一个基准的分数是可比的。但事实并非如此。评估一个模型在某个基准上的表现，需要依赖具体的 评估工具链 （或称“harness”）。这个工具链负责加载数据、格式化输入、调用模型、解析输出并计算指标。工具链实现的细微差异，可能导致同一模型在同一基准上得到截然不同的分数。

一个著名的案例是Falcon-40B发布后，在OpenLLM排行榜上，Llama-65B的MMLU得分远低于其原论文报告值，甚至低于Falcon-40B。调查发现，OpenLLM排行榜使用了EleutherAI的LM评估工具链，该工具链在提示词格式上与MMLU原论文使用的工具链以及HELM评估框架存在细微差别，比如是否在问题前添加“Question:”前缀，选项的格式化方式等。正是这些看似微不足道的格式差异，导致了巨大的分数偏差。

这催生了 工具链黑客 ：有意或无意地选择或修改评估代码，使其更有利于自己的模型。更恶劣的做法是，遍历所有可用的工具链实现，然后为每个模型选择报告对其最有利的那个工具链的分数。

与此相关的是 指标黑客 ：事后选择对自家模型最有利的评估指标。例如，在分类任务中，当准确率不占优时，转而报告F1分数或AUC-ROC；在生成任务中，选择特定的BLEU或ROUGE变体。公平的做法是，要么报告在多个标准指标下的综合表现，要么预先约定并始终坚持使用社区在该任务上最公认的单一指标。

实操心得 ：在进行模型比较时， 必须使用完全相同的评估代码和配置 。最佳实践是直接复现论文中提供的官方评估脚本。如果官方脚本不可用，则应详细记录并开源自己所使用的工具链的所有细节，包括提示词模板、代码库版本、评分函数等。在阅读论文时，对于未提供完整评估代码或细节模糊的结果，应保持审慎态度。

4. 运行时“微操”：提示工程与超参数调优的公平性困境

对于大语言模型而言，评估并非一个简单的“输入-输出”过程。在模型权重之外，还有一整套 运行时参数 在深刻影响着输出结果，这主要包括提示词工程和采样超参数。这个领域是当前模型比较中公平性争议最集中的地方。

4.1 提示削弱：不公平的起跑线

提示削弱 指的是在比较不同模型时，对基线模型使用未充分优化或较弱的提示策略，而对自己的模型使用精心优化的强力提示。

一个被广泛讨论的案例来自Gemini模型的发布报告。在GSM8K数学推理基准上，Gemini报告了其使用 多数投票 （从k=32个采样中选取最频繁的答案）的得分。然而，作为对比的GPT-4 Turbo，使用的却是 5样本思维链 提示，且未采用多数投票。众所周知，对于数学推理任务，思维链和多数投票都是能显著提升性能的技术。将使用了高级集成技术的模型得分，与只使用了基础提示技术的基线模型得分进行比较，显然是不公平的。这相当于让一个使用了复合弓的选手，去和一个只用手掷的选手比赛射箭。

这种不公平有时是无意的。不同模型对提示的敏感度不同，为某个模型（通常是研究者最熟悉的自家模型）精心设计的“最优提示”，套用到另一个模型上可能效果很差。因此，机械地要求“使用完全相同的提示”有时也会造成另一种不公，即未能让基线模型发挥其最佳水平。但这不能成为使用明显不对等策略的借口。

4.2 提示黑客与运行时黑客：事后选择最优配置

与削弱基线相对的，是 提示黑客 和 运行时黑客 。这指的是：在完成所有模型的测试后，回过头来为每个模型单独寻找其最佳的提示词和超参数组合，然后选择性地报告这些“最佳”结果。

运行时参数包括温度、top-p、top-k、最大生成长度等。例如，研究者可以为自己提出的模型尝试多种不同的温度设置（如0.2, 0.5, 0.8, 1.0），然后报告其中得分最高的那个温度下的结果；而对于基线模型，则可能只使用一个默认值（如温度=1.0）或文献中报告的值。由于这些尝试是在看到测试结果后进行的，这本质上是一种 事后假设 ，会严重夸大模型的真实性能。

更复杂的情况涉及 思维链 、 自我一致性 、 自洽性校验 等高级推理策略。这些策略本身包含可调参数（如推理步骤数、投票样本数k）。允许每个模型使用其“专属”的最佳策略组合，给了研究者巨大的操作空间，使其可以“优化”出对自家模型最有利的配置，同时声称这是“公平优化”。

4.3 寻找平衡：如何制定公平的运行时规则

那么，如何制定公平的运行时规则呢？这里没有完美答案，但有一些渐进的准则：

1. 同策略比较 ：最严格也最清晰的原则是，在比较A和B时，双方使用 完全相同的 提示模板和运行时超参数。这适用于比较同一家族模型的不同规模版本，或架构高度相似的模型。
2. 各自优化，但透明报告 ：承认不同模型有其最优提示，允许各自优化，但必须满足以下条件：
   • 优化过程隔离 ：用于寻找最佳提示的“开发集”必须与最终的测试集完全独立，通常需要使用一个额外的验证集。
   • 计算预算对等 ：为每个模型优化提示所投入的计算资源（如尝试的提示数量、搜索的步数）应对等。
   • 完整披露 ：必须在论文中或附录里详细报告每个模型所使用的最终提示词、所有超参数值，以及优化过程的细节（如搜索空间、验证集性能）。
3. 报告多种设置的结果 ：一个非常有力的做法是，在主要结果表格中，同时报告模型在多种标准设置下的性能。例如，既报告“零样本”得分，也报告“5样本思维链”得分，甚至报告“思维链+多数投票(k=5, k=32)”的得分。这为读者提供了全面的视角，也封堵了选择性报告的空间。

注意 ：对于业界标杆式的模型发布，社区期待的是最高水平的性能展示，因此使用最先进的提示工程技术是合理的。但关键在于 可比性 。如果Gemini使用了“不确定性路由的思维链”这种复杂技术，那么公平的比较对象应该是同样应用了最先进提示工程的GPT-4版本，而不是一个基础版本。任何在提示或运行时策略上的不对等，都必须在报告中以醒目的方式说明，并讨论其对结果的影响。

5. 基线模型的“瘦身”与“化妆”

在比较研究中，基线模型的选择和配置是决定结论可信度的另一块基石。不恰当的基线处理，可以轻易地让新方法“脱颖而出”。

5.1 基线削弱：让对手变弱

基线削弱 指的是有意或无意地使用一个配置不全、未充分调优或过时的基线模型进行比较。

• 有意削弱 ：选择明显更弱或更旧的模型作为基线。例如，在比较新的对话模型时，选择GPT-3.5而不是性能更强的GPT-4作为基线；或者在比较推荐算法时，选择一个多年前的经典算法，而不考虑其现代的高效实现。
• 无意削弱 ：更常见也更隐蔽的情况是，对基线模型的 超参数调优不足 。研究者对自己的新方法会投入大量精力进行网格搜索或贝叶斯优化，但对基线方法，可能只是简单地复用原论文报告的配置，甚至使用默认参数。然而，原论文的配置可能并非最优，且在不同数据集、不同任务上需要重新调优。许多重现性研究发现，当基线方法得到与新颖方法同等程度的调优后，其性能差距会大幅缩小甚至消失。

一个关键原则是 固定成本比较 。比较应在公平的计算预算、参数规模或训练时间下进行。例如，Kaddour等人在2024年的工作中指出，当在固定的总计算预算下评估训练算法时，许多声称超越基线的新方法并未显示出显著优势，这表明原论文中的基线可能未被充分优化。

5.2 模型阶段不对等：用“完全体”对比“基础形态”

在大语言模型领域，一个特别狡猾的削弱策略是利用模型的不同训练阶段。一个现代LLM的诞生通常经历：预训练 -> 指令微调 -> 基于人类反馈的强化学习（RLHF）或直接偏好优化（DPO）。每个阶段都会显著改变模型的行为和能力。

不公平的比较包括：

• 将自家经过 指令微调 的模型，与竞争对手的 纯预训练基座模型 进行比较。
• 将自家经过 RLHF/DPO 对齐的模型，与竞争对手仅经过 指令微调 的模型进行比较。

这就像让一个完成了全部军事训练的士兵，去和一个刚结束新兵营的士兵格斗，然后宣称自己的训练体系更优越。正确的比较应在同一阶段进行：基座对基座，指令微调对指令微调，RLHF对RLHF。

5.3 人类基线的陷阱

在一些任务中，人类表现被用作基线或天花板。然而， 人类基线同样可以被削弱 。通过众包平台（如Amazon Mechanical Turk）收集人类表现数据时，参与者的专业水平、任务说明的清晰度、报酬激励的强度，都会极大影响结果。近年来，众包数据质量危机和机器人账号泛滥的问题，使得“人类表现”这一指标本身变得极不可靠。超过半数的响应可能来自机器人，这使得超越“人类基线”的宣称变得毫无意义。

实操心得 ：在进行模型比较时，务必问自己以下几个问题：

1. 我选择的基线是否是当前该任务上公认的、最强的可比方法？
2. 我为基线模型的调优投入了与我的新方法同等的努力吗？（包括超参数搜索范围、搜索次数、计算资源）
3. 我比较的模型是否处于相同的训练阶段？（预训练/微调/对齐）
4. 我是否报告了基线模型在与我方法完全相同的实验设置（数据、评估工具链、提示）下的结果，而不是直接引用其论文中的数字？ 坚持“复现并重新评估”基线，是确保比较公平的黄金标准，尽管这需要额外的成本。

6. 报告中的“魔术笔”：从选择性呈现到公然捏造

即使实验过程完全规范，最后一步——结果报告——依然可以将真相扭曲。不诚实或具有误导性的报告，使得外部研究者无法判断宣称的进步是真实的还是人为制造的。

6.1 樱桃采摘：只展示最好的那颗

樱桃采摘 是最常见的报告问题之一。它指的是进行多次实验或测试，但只报告结果最好的那一次，而对其他结果保持沉默。

一种更隐蔽的形式是：将最佳结果放在论文主表格或摘要中大力宣扬，而将其他变量下的结果（可能表现平平甚至更差）埋藏在附录的角落，或者仅用文字轻描淡写地提及。例如，尝试了10个不同的随机种子，只报告了性能最高的那个种子下的结果；或者在20个不同的基准上测试，只在正文中列出其中5个表现优异的基准。

这种做法的滋生土壤，是实验“上下文因素”记录的缺失或不规范。如果论文不报告所使用的具体随机种子、超参数的确切值、提示词的完整文本，那么外部人员根本无法复现结果，也更难发现樱桃采摘的行为。

6.2 “黄金种子”：制造幸运

与樱桃采摘紧密相关的是**“黄金种子”**问题。随机种子对深度学习模型的训练，特别是微调过程，有着巨大且不可预测的影响。通过运行大量不同种子的实验，然后挑选那个让模型性能最高的“幸运”种子进行报告，可以人为地提升几个百分点的性能。对于小规模数据集或敏感任务，这种由种子带来的方差可能远超方法本身带来的改进。

虽然对于耗资巨大的大模型预训练，反复运行寻找黄金种子不现实，但在指令微调、参数高效微调、强化学习等阶段，种子选择依然是一个需要被控制的变量。公平的做法是报告多个随机种子下的平均性能和标准差，或者至少报告一个预先确定的、固定的种子。

6.3 伪创新：添加无用的“齿轮”

在科研发表的压力下，有一种做法是给现有的SOTA模型添加一个额外的、复杂的模块，而这个模块实际上对最终性能没有实质性贡献，或者贡献微乎其微。这种 多余的“齿轮” 让论文看起来有了“新颖性”，从而得以发表。

这种情况有时是无意的：研究者真心相信新模块有效，但由于时间压力或疏忽，没有进行充分的 消融实验 来证明每个组件都是必要的。当后续研究仔细进行消融实验或对基线进行充分调优后，往往发现简单的基线方法性能与之相当甚至更好。

例如，在推荐系统、时间序列预测等领域，多次大规模重现性研究都发现，许多复杂新颖的模型在得到正确实现和充分调优后，并不比简单的基础模型（如矩阵分解、线性回归）有显著优势。这些“伪创新”不仅浪费了读者的时间，还可能将整个领域引入复杂化的歧途。

6.4 夸大宣称与轻描淡写：结论与结果的脱节

夸大宣称 是指从有限的、具体的基准测试结果中，得出过于宽泛或绝对化的结论。例如，模型在某个数学数据集上从55%提升到58%，就宣称“解决了数学推理问题”；或者模型在特定风格的诗歌生成上表现好，就宣称“具有卓越的创造性”。这忽略了任务本身的局限性、距离人类水平的巨大差距，以及模型在其他相关任务上可能完全失败的事实。

相反的， 轻描淡写 则较为罕见，通常出现在试图质疑或贬低某项技术能力的文章中。例如，为了证明LLM在代码生成上存在严重缺陷，却只测试了较弱的GPT-3.5模型，而对同时期更强的GPT-4模型避而不谈，仅在脚注中提及。这种有选择性地使用基线，同样扭曲了事实。

6.5 物化：错把代理当成本体

这是评估中一个更深层次的认知陷阱： 物化 。我们将模型在某个 代理任务 （如MMLU、GSM8K）上的表现，直接等同于其 真实世界能力 （如知识水平、数学能力、推理能力）。

基准测试本质上是真实能力的一个有噪声的、不完全的代理指标。当基准存在缺陷（如题目范围狭窄、存在模式可循、与训练数据有重叠）时，高分可能仅仅意味着模型“擅长应对这个特定的测试”，而非拥有了通用的能力。将“在基准X上获得高分”直接论述为“拥有Y能力”，是一种危险的过度推论。我们必须时刻意识到基准的局限性，并寻找更多样化、更贴近真实应用的评估方式来交叉验证。

7. 构建更稳健的评估文化：从业者的行动清单

面对这些纷繁复杂的可疑实践，作为一线从业者，我们并非无能为力。从个人到社区，我们可以采取具体行动来推动更诚实、更稳健的评估文化。

7.1 论文作者与评审者的自查清单

如果你是研究者或工程师，在撰写评估报告时，请回答以下问题：

1. 数据完整性 ：

   • 训练集和测试集的分割策略是否清晰、合理、可复现？是否避免了数据泄露？
   • 是否对数据进行了去重（包括近义句）检查？
   • 如果使用了数据增强，增强后的样本是否可能泄露测试集信息？

2. 基线公平性 ：

   • 选择的基线是否是当前最相关的强基线？
   • 是否为所有比较的方法（包括基线）提供了 同等程度的优化努力 （超参数调优、提示工程）？
   • 比较的模型是否处于相同的“成熟度”阶段（如基座 vs. 基座，指令微调 vs. 指令微调）？

3. 评估过程透明化 ：

   • 是否使用了完全相同的评估代码、工具链和指标来计算所有模型的结果？
   • 是否完整报告了所有关键的运行时参数（提示词、温度、top-p、采样次数k等）？
   • 是否报告了多次运行（不同随机种子）的平均值和方差，而非单次“幸运”运行的点估计？
   • 是否报告了在多个核心基准上的完整结果，而非选择性报告？

4. 结论克制性 ：

   • 论文中的结论是否严格局限于实验结果所能支持的范围？
   • 是否避免了将特定基准的高分过度概括为某种通用“智能”或“能力”？
   • 是否讨论了方法的局限性以及在哪些情况下可能失效？

如果你是论文或代码评审者，请额外关注：

• 实验部分是否提供了足以让独立第三方复现的所有细节？
• 提供的代码仓库是否包含了完整的评估脚本、数据预处理步骤和确切的依赖版本？
• 结果是否“好得令人怀疑”？如果是，检查其基线是否被充分优化，评估设置是否公平。

7.2 工具与社区倡议

技术进步也为解决这些问题提供了工具：

• 标准化评估框架 ：拥抱和使用像 HELM 、 OpenCompass 、 LLM-Eval 这样的综合评估框架。它们提供了统一的、可复现的评估流水线，能最大程度减少工具链差异。
• 模型卡与数据表 ：强制要求为发布的模型和数据集创建详细的“模型卡”和“数据表”，明确记录其训练数据构成、评估协议、已知偏差和局限性。
• 预注册研究 ：对于假设驱动的研究，考虑采用预注册形式，提前公开研究假设、实验设计和分析计划，防止事后篡改。
• 中心化排行榜的改进 ：像Chatbot Arena这样的人类偏好评测平台，通过众包对比减轻了对单一基准的依赖。但需持续改进以对抗风格偏好、长度偏差甚至恶意刷榜等问题。
• 重视重现性研究 ：社区应给予那些进行严谨的、批判性的重现性研究以更高的声誉和认可。这些研究是发现可疑实践、巩固可靠知识的基石。

评估不是机器学习研究的终点，而是确保我们走在正确道路上的罗盘。当基准测试的分数成为争夺的锦标，而不是探索的灯塔时，整个领域的发展就会偏离航道。作为从业者，我们每个人都有责任在自己的工作中坚守评估的严谨与诚实。这不仅仅是为了发表论文或赢得竞赛，更是为了我们能够真正理解这些日益强大的系统，并负责任地推动其发展。下一次，当你看到一份光鲜的评估报告时，不妨多问一句：“这背后，是否隐藏着一场不公平的比赛？”而当你自己成为报告者时，则要确保，你的比赛经得起最苛刻的审视。