1. 项目概述：当游戏设计遇上机器学习

在桌面角色扮演游戏（TRPG）的设计与平衡中，怪物等级的设定是一个核心但充满挑战的环节。以《开拓者》（Pathfinder）第二版为例，一个怪物的等级直接决定了它的挑战等级（CR），进而影响战斗的难度、经验值奖励乃至整个冒险的节奏。传统上，这依赖于游戏设计师的经验和大量的人工测试。但有没有可能，让机器学习模型来学习这种设计直觉，甚至预测新设计怪物的等级呢？

这正是我们本次探索的核心。我手头有一个包含2637个《开拓者》第二版怪物的数据集，每个怪物由32个特征描述，包括六维属性（力量、敏捷等）、防御等级（AC）、生命值（HP）、豁免、感知、移动速度、攻击加值与伤害、法术能力等。目标变量是怪物的等级，范围从-1到21。这看似一个回归或分类问题，但等级具有明确的顺序（一个10级怪物比5级更强），直接使用标准回归会忽略顺序信息，而标准分类则视等级间错误等同。因此， 序数回归 成为了最合适的建模框架。

更棘手的是，数据本身是 时序 的——怪物随着规则书的出版而陆续发布。我们不能简单地将数据随机打乱划分训练集和测试集，那会带来“数据泄露”，让模型“预知”未来，评估结果将过于乐观。为了模拟模型在真实世界中的部署场景（即用已发布的怪物数据训练，去预测未来新书中的怪物），我们引入了 扩展窗口评估 策略。同时，数据中低等级怪物数量远多于高等级，存在严重的 类别不平衡 。为此，我们不仅看常规的均方根误差（RMSE）和平均绝对误差（MAE），更关注它们的 宏平均 版本，以确保模型在所有等级上都有均衡的表现。

本文将带你深入这个交叉领域项目的核心。我会详细拆解从数据理解、模型选型（包括专用序数模型与回归+取整策略的对比）、评估策略设计，到结果分析的完整流程。你会发现，基于树的方法（如随机森林、LightGBM）展现了惊人的鲁棒性，而一些复杂的神经序数模型却可能“翻车”。我们还会探讨不同取整策略的微妙影响，以及为什么在时序评估下，模型的稳定性比单次高分更重要。无论你是机器学习实践者、数据科学家，还是对游戏数据科学感兴趣的开发者，这些从实战中踩坑得来的经验，都能为你处理类似的序数、时序、不平衡数据问题提供直接的参考。

2. 核心思路与评估框架设计

面对一个预测游戏怪物等级的任务，首要任务是确立正确的评估范式。一个错误的评估方案会导致模型选择失准，最终产出一个在测试集上表现良好，但一上线就崩盘的“花瓶”模型。我们的核心思路围绕两个关键点展开： 尊重数据的时序本质 和 正视预测目标的序数特性 。

2.1 为什么是序数回归？

怪物等级（-1, 0, 1, ..., 21）是一个典型的有序离散变量。预测等级为9，但真实等级是10，这个错误显然比预测等级为1要轻微得多。标准的多分类模型（如逻辑回归、神经网络配合交叉熵损失）将所有错误视为同等严重，这不符合我们的业务直觉。标准回归模型（预测一个连续值）虽然能反映大小关系，但它的输出是连续的，需要额外的步骤映射回离散等级，且其损失函数（如MSE）对等级间的“距离”敏感度是固定的平方关系，可能不是最优。

序数回归模型则专门为此设计。它们通过不同的机制将类别间的顺序信息编码进模型：

1. 阈值模型 ：假设存在一个潜在的连续变量，通过一组有序的阈值将其划分为不同的等级区间。例如，Ordered Logistic Regression和GPOR属于此类。
2. 序数编码损失 ：修改神经网络的损失函数，使其对序数错误进行不同权重的惩罚。例如，CORAL、CORN等方法。
3. 基于序数分裂的树模型 ：在决策树构建过程中，使用专门为有序变量设计的分裂准则。例如，Ordinal Random Forests (ORF)。

在我们的实验中，除了测试上述专用序数模型，我们也探索了“回归+取整”的经典路线：先用随机森林、LightGBM等模型预测一个连续值，再通过优化阈值将其离散化。这实际上是一种灵活的两阶段序数回归方法。

2.2 扩展窗口评估：模拟真实世界的数据流

我们的数据集按怪物出版时间严格排序。如果采用传统的随机划分（例如70/30分割），相当于让模型在训练时“看到”了来自未来的怪物设计理念和数值平衡趋势，这严重高估了其泛化能力。

因此，我们采用了 扩展窗口评估 ，这是一种受时间序列预测启发的评估策略。具体操作如下：

1. 按时间划分窗口 ：将整个数据集按出版时间顺序划分为W个连续的子集（窗口）。第一个窗口包含游戏第二版首发时的所有怪物。后续每个窗口至少包含100个之前窗口未出现过的、出版时间最早的怪物。同一天出版的怪物永远被分到同一个窗口，保证时间一致性。
2. 滚动训练与测试 ：对于第w个窗口（w从1到W-1），我们使用第1到第w个窗口的所有数据合并作为训练集，用第w+1个窗口的数据作为测试集。这就好比我们站在时间点w，用历史上所有已发布的数据训练模型，去预测下一本即将出版的规则书中的怪物。
3. 汇总结果 ：我们会在W-1次迭代中得到W-1组性能指标（如MAE、准确率）。最终报告的是这些指标的平均值和标准差。

注意 ：这种方法的优势在于，它提供了模型在 时间维度上泛化能力 的更真实估计。标准差则反映了模型性能随时间波动的稳定性，这是一个在静态划分中无法获取的关键信息。

2.3 评估指标组合拳：从多个角度审视模型

单一的指标无法全面评价一个序数回归模型。我们构建了一个指标组合：

1. 平均绝对误差（MAE）与均方根误差（RMSE） ：

   • MAE ：所有预测等级与真实等级之差的绝对值的平均值。直观易懂，对所有误差一视同仁。
   • RMSE ：误差平方的平均值的平方根。由于平方项，它对大误差更为敏感。预测偏差3级比偏差1级受到严厉得多的惩罚。
   • 为什么需要宏平均版本（MAEM, RMSEM）？ 由于数据中低等级怪物居多，一个模型如果只擅长预测常见的低等级怪物，就能在整体MAE/RMSE上取得不错成绩，但这掩盖了它在稀有高等级怪物上糟糕的表现。宏平均先计算每个等级内部的MAE/RMSE，再对所有等级求平均。这确保了每个等级，无论样本多少，对最终指标的贡献是平等的。

2. 准确率（Accuracy）与准确率@k（Accuracy@k） ：

   • 准确率 ：预测等级完全正确的比例。这是一个非常严苛的指标，在序数问题中可能过于严厉，因为将9级预测为10级也算全错。
   • 准确率@1 ：预测等级与真实等级差值不超过1的比例。在这个任务中， 准确率@1是一个极具实践意义的指标 。对于游戏平衡而言，预测误差在1级以内通常是可接受的，它衡量了模型的“接近正确”能力。

3. Somers‘ D ：

   • 这是一个专门用于有序变量的秩相关指标，衡量预测顺序与真实顺序的一致性。值域为[-1, 1]，1表示完美一致。它不关心具体的等级数值，只关心相对顺序。一个高Somers‘ D的模型，即使具体等级预测有偏差，也能可靠���判断出怪物A比怪物B强。

这个指标组合让我们能从误差大小（MAE/RMSE）、精确匹配程度（Accuracy）、容错匹配程度（Accuracy@1）和序数一致性（Somers‘ D）四个维度综合评估模型，并结合宏平均处理不平衡问题。

3. 模型阵容与实现细节

我们构建了一个涵盖经典方法、集成学习、专用序数模型和神经网络的“全明星”阵容进行对比。以下是对核心模型及其关键实现细节的解析。

3.1 基线模型：人类设计经验的模拟

在引入复杂的机器学习模型前，我们建立了一个基于领域知识的基线模型。其逻辑模仿了游戏设计师的简化思路：

1. 原型归类 ：根据怪物的核心属性分布（如高力量高生命值->“坦克”，高敏捷高攻击->“刺客”），将其归入预定义的几个原型（Archetype）。
2. K近邻预测 ：在每个原型内部，单独训练一个K近邻（KNN）回归模型。预测新怪物等级时，先判断其原型，再使用该原型对应的KNN模型，根据最相似的几个已知怪物来推断其等级。

这个基线模型的意义在于，它提供了一个“合理性锚点”。任何机器学习模型如果无法显著超越这个基于简单规则和局部相似性的方法，那么其复杂性可能就是不必要的。

3.2 策略一：回归模型 + 取整策略

这是将经典回归模型应用于序数问题的实用方法。我们选择了四种具有代表性的回归器：

• 线性模型 ：尝试了LASSO回归，利用L1正则化进行特征选择，防止过拟合。
• 支持向量机（SVM） ：使用径向基函数（RBF）核，适用于非线性关系。
• 随机森林（RF） ：强大的集成方法，能捕捉复杂交互，对异常值不敏感。
• LightGBM ：基于梯度提升的高效算法，训练速度快，常能取得顶尖效果。

这些模型输出一个连续值 (\hat{y} {cont})。关键步骤在于如何将其映射到离散的等级 (\hat{y} {ord})。我们系统比较了四种取整策略：

1. 标准数学取整（Round 0.5） ：最直接的方法，阈值为0.5。例如，预测值2.3取整为2，2.6取整为3。
2. 全局优化阈值（Global） ：寻找一个最优的全局阈值 (t)，使得将所有 (\hat{y}_{cont} + t) 取整后得到的序数标签，在验证集上的性能（如宏平均MAE）最优。
3. 每等级优化阈值（TPE） ：将每个等级之间的阈值 (t_i)（例如，区分1级和2级的阈值）都视为独立的超参数。使用基于树结构的帕森估计器（TPE）的优化框架（如Optuna）在连续空间中进行搜索。
4. 图优化阈值（Graph） ：将寻找最优阈值序列建模为一个图上的最短路径问题。每个节点代表一个可能的阈值配置，边的权重是该配置在验证集上的损失。通过动态规划找到全局最优的阈值序列。

后两种方法（TPE和Graph）允许每个等级区间拥有不同的宽度，这更灵活，能适应模型输出在不同等级区间的不同分布。

3.3 策略二：专用序数回归模型

我们测试了多种原生支持序数回归的算法：

• 有序逻辑回归（ORD） ：经典的阈值模型，将序数回归视为一系列二元逻辑回归。
• 序数随机森林（ORF） ：在随机森林的分裂准则中融入序数信息。
• 即时阈值模型（LogisticIT） ：另一种阈值方法。
• 高斯过程序数回归（GPOR） ：提供概率预测的不确定性估计。
• 简单序数分类方法（SAOC） ：一种将序数问题转化为一系列二元问题的通用框架，可与任意分类器（如RF）结合。
• 神经序数模型 ：包括CORAL、CORN、Spacecutter、NNRank、CONDOR、OR-CNN等。它们通过在损失函数中加入序数权重或约束来指导网络学习。

3.4 实验设置与调参要点

所有模型均通过网格搜索（Grid Search）结合交叉验证进行超参数调优。对于时序数据，我们采用了 前向链式交叉验证 ，即训练集总是时间上早于验证集，以符合扩展窗口评估的精神。

实操心得：处理类别不平衡 除了使用宏平均指标评估，在训练时我们也采取了措施。对于基于树的模型（RF， LightGBM），可以通过设置 class_weight='balanced' 或类似参数，让模型在分裂时更关注少数类。对于LightGBM，使用 is_unbalance=True 或手动设置 scale_pos_weight 非常有效。对于神经网络，在损失函数中为每个类别添加权重是最常见的做法，权重通常与类别频率成反比。

特征工程方面，我们对所有数值特征进行了标准化（减均值除标准差）。对于类别特征（如怪物类型标签，如果存在），进行了独热编码。时序信息（出版日期）本身不作为特征输入模型，但严格用于数据划分。

4. 结果深度分析与工程启示

实验在两种评估设置下进行：标准的按时间划分的留出法（Train-Test Split）和更严格的扩展窗口评估（Expanding Window）。以下是对核心发现的逐层剖析。

4.1 整体性能格局：树模型的统治力

在两种评估设置下，结论高度一致： 基于树模型的方案全面领先 。

表1：按时间划分留出法下的Top-5模型（按宏平均MAE排序）

模型	MAEM	RMSEM	Somers‘ D	准确率	准确率@1
序数随机森林 (ORF)	0.24	0.61	0.97	81%	97%
简单序数分类 (SAOC)	0.25	0.59	0.97	81%	97%
随机森林 (RF)	0.27	0.59	0.97	77%	98%
LightGBM	0.28	0.62	0.97	77%	98%
高斯过程序数回归 (GPOR)	0.34	0.70	0.96	72%	97%

关键发现 ：

1. 基线模型被彻底超越 ：基于人类经验规则的基线模型在所有指标上大幅落后，宏平均MAE高达0.82，准确率仅46%。这证明了数据驱动方法在该任务上的巨大价值。
2. 树模型包揽前四 ：ORF、SAOC（内部使用RF）、RF、LightGBM占据了性能榜首。它们共享的优点包括：能自然处理特征间的非线性关系和交互效应、对特征量纲不敏感、具有一定的抗过拟合能力。
3. 专用序数 vs 回归+取整 ：没有绝对赢家。ORF和SAOC是专用序数方法，表现最佳；而RF和LightGBM采用“回归+取整”策略，同样表现优异。这说明， 一个强大的基础学习器（如RF、LightGBM）配合合适的后处理（取整），其效果可以与许多专用序数算法媲美甚至超越 。
4. 神经序数模型的滑铁卢 ：令人意外的是，诸如Spacecutter、NNRank等神经序数模型表现不佳，甚至不如一些线性模型。CONDOR、CORAL等稍好，但仍未进入第一梯队。这可能源于几个原因：神经网络需要大量数据，而我们的数据集仅数千条；模型对超参数敏感，调优难度大；一些神经序数损失函数在训练中可能不稳定。 一个反例是OR-CNN ，它在NNRank基础上简单增加了损失权重，性能就有显著提升，这提示我们，对神经模型而言，损失函数的设计和加权至关重要。

4.2 准确率与准确率@1：揭示模型的“容错”能力

这个对比极具启发性。几乎所有模型的准确率@1都超过了95%，而标准准确率则在50%-81%之间波动。

• 准确率@1 > 95% ：��意味着模型预测的等级，超过95%的情况下误差不超过1级。对于游戏平衡设计，这是一个非常令人满意的结果。设计师可以信任模型给出的等级作为一个高质量的初始建议，再微调即可。
• 标准准确率差异大 ：这反映了模型“精确命中”目标的能力。顶级树模型能达到81%，而神经模型可能只有50-60%。这中间的差距，正是模型捕捉数据中细微模式能力的体现。

工程启示 ：在评估序数回归模型时， 务必同时关注严格准确率和容错准确率 。高准确率@1保证了模型的实用性（预测基本靠谱），而高的标准准确率则代表了模型的精密度。如果业务能接受±1级的误差，那么准确率@1可能是更重要的核心指标。

4.3 取整策略的“玄学”：没有银弹

我们对“回归+取整”策略中的四种取整方法进行了详细对比。结论是： 最优策略因模型而异 。

• LightGBM的过拟合陷阱 ：LightGBM在训练集上容易产生接近整数的预测（例如，2.0001， 2.9998）。这导致在优化阈值时（基于训练集或验证集预测），优化器会倾向于将阈值推向极端值（如0.001），从而在训练集上获得完美映射，但在未见过的测试集上表现崩坏。对于LightGBM， 最稳定可靠的策略反而是最简单的“四舍五入到0.5” 。
• 其他模型的优化空间 ：对于SVM、RF等模型， 基于图的每等级阈值优化（Graph） 通常能取得最佳效果，因为它能找到一组合适的、非均匀的阈值来适配模型输出的分布。
• 全局阈值调优的平庸 ：为所有等级寻找单一最优阈值的方法，效果通常不如每等级独立调优，甚至可能不如固定0.5取整。

避坑指南 ：当你使用“回归+取整”方案时，不要默认使用复杂的阈值优化。 首先尝试标准的0.5取整作为基线 。如果模型表现已经很好，可能无需复杂化。如果决定优化阈值，务必在 一个独立的验证集 上进行，并警惕像LightGBM这类易过拟合模型带来的虚假优化结果。TPE等贝叶斯优化方法虽然强大，但其随机性可能导致次优解，需要多次运行取优。

4.4 宏平均指标的必要性：看清模型的全貌

对比常规MAE/RMSE与其宏平均版本，几乎所有模型的宏平均误差都更高。这印证了我们的担忧：模型在多数类（低等级）上表现更好，拉低了整体误差。

一个有趣的例外 ：在扩展窗口评估中，序数随机森林（ORF）的宏平均RMSE有时略优于常规RMSE。深入分析混淆矩阵发现，ORF在某个窗口中对一个特定低等级怪物产生了高达7级的极端预测错误。由于这个等级样本数少，这个巨大错误在计算该等级的RMSE时被严重放大，进而影响了宏平均。而常规RMSE由于被大量正确预测的低等级样本稀释，反而显得更优。

核心结论 ： 宏平均指标是识别模型在少数类上“短板”的照妖镜 。它防止我们选择一个“偏科”的模型。在发布不平衡数据的模型报告时，应同时给出常规和宏平均指标。

4.5 扩展窗口评估：稳定性的试金石

扩展窗口评估的结果均值与留出法相近，但 它提供了至关重要的新信息——性能的标准差 。

• 性能波动 ：所有模型在早期数据窗口（训练数据少）表现都更差。树模型（RF， SAOC）展现了最强的稳定性，其各项指标的标准差最小。
• 神经模型的稳定性危机 ：NNRank模型在一个测试窗口中出现了预测全部为常数的灾难性失败，导致该窗口的宏平均RMSE飙升至4以上。这暴露了某些神经模型在数据分布变化时可能存在的 极端不稳定性 。
• 时序泛化的价值 ：扩展窗口评估的平均性能有时甚至略优于一次性留出法。这说明，随着新数据（新规则书）的加入并重新训练，模型能够适应游戏设计理念的缓慢演变，保持甚至提升预测能力。这证明了我们评估策略的有效性。

表2：扩展窗口评估下模型稳定性示例（宏平均MAE ± 标准差）

模型	MAEM	准确率
随机森林 (RF)	0.26 ± 0.12	75% ± 1%
SAOC	0.24 ± 0.12	76% ± 11%
LightGBM	0.28 ± 0.11	73% ± 10%
CORAL	0.49 ± 0.25	58% ± 12%
NNRank	0.70 ± 0.83	56% ± 16%

可以看到，RF不仅误差小，而且波动（标准差）极小，准确率稳定在75%左右。而SAOC虽然平均误差更小，但准确率的波动很大（±11%），说明其在某些时间窗口表现可能有起伏。NNRank则完全失去了稳定性。

5. 总结与实战建议

通过这个完整的Pathfinder怪物等级预测项目，我们可以提炼出一些处理序数回归问题，特别是伴有时序和不平衡特性的通用实战建议：

1. 评估策略先行 ：务必根据数据生成机制设计评估策略。如果数据有时序性， 扩展窗口或滚动窗口评估是黄金标准 ，它能最真实地反映模型上线后的表现，并提供稳定性指标。
2. 不要轻视“回归+取整” ：对于许多实际问题，使用一个强大的回归器（如XGBoost， LightGBM， 随机森林）配合合适的取整策略，是一个简单、高效且性能卓越的基线方案。在尝试复杂的专用序数模型前，先把这个基线打好。
3. 树模型是序数问题的“稳健之选” ：在这个项目中，随机森林及其变体（ORF， SAOC-RF）在性能、稳定性和可解释性上取得了最佳平衡。它们对非线性关系、特征交互的捕捉能力，以及相对不易过拟合的特性，使其成为序数回归任务的优先选择。
4. 谨慎使用神经序数模型 ：除非你有海量数据且能进行精细的超参数调优，否则神经序数模型可能不是首选。它们潜力大，但更脆弱，容易训练不稳定，结果方差大。如果使用，务必关注损失函数的设计（如引入序数权重）和严格的稳定性验证。
5. 指标组合与业务对齐 ：永远使用一组指标来评估模型。对于序数问题， 准确率@k（尤其是k=1）是一个极具业务意义的指标 。同时， 宏平均版本的不平衡敏感指标（MAEM， RMSEM）必须计算 ，以防模型“欺负”少数类。Somers‘ D帮助你理解模型是否学到了正确的序数关系。
6. 深入分析错误案例 ：查看混淆矩阵，找出那些被严重误判的样本。在这个项目中，我们发现个别怪物无论用什么模型都难以预测。这些“刺头”样本往往是设计上的特例或离群点，分析它们能加深你对业务和数据本身的理解，有时比单纯优化模型更有价值。

最终，在这个项目中， 序数随机森林（ORF） 凭借其最佳的宏平均MAE、最高的准确率以及优秀的Somers‘ D，成为了综合表现最佳的模型。而 简单序数分类（SAOC）配合随机森林 同样表现抢眼，且实现可能更简单。它们共同证明了，将经典的、稳健的机器学习算法与对问题本质（序数性）的深刻理解相结合，往往能产生最实用、最可靠的解决方案。

模型部署后，可以作为一个强大的辅助工具嵌入游戏设计流程。设计师输入新怪物的属性草案，模型即刻给出等级预测，设计师再基于此进行微调和创意发挥，从而大幅提升设计效率和平衡性。这个案例也展示了，机器学习不仅能解决互联网和金融领域的预测问题，也能深入游戏、文创等创意产业，成为增强人类创造力的“副驾驶”。