1. 分类算法评估指标入门：从混淆矩阵开始

第一次接触分类算法评估时，我完全被各种指标绕晕了。直到发现混淆矩阵这个神器，才真正理解了评估指标之间的关系。想象你是个质检员，面前有两筐苹果：好苹果和坏苹果。你的任务是把它们分类，结果可能有四种情况：

• 把好苹果正确放进好筐（True Positive）
• 把坏苹果正确放进坏筐（True Negative）
• 把好苹果错放进坏筐（False Negative）
• 把坏苹果错放进好筐（False Positive）

这四种情况就构成了经典的二分类混淆矩阵。在实际项目中，我经常用Python快速生成混淆矩阵：

from sklearn.metrics import confusion_matrix
y_true = [1, 0, 1, 1, 0]  # 真实标签
y_pred = [1, 0, 0, 1, 1]  # 预测标签
print(confusion_matrix(y_true, y_pred))

输出结果中，对角线表示正确分类的数量。这个简单的矩阵就像X光片，能透视模型的"病情"所在。比如在医疗诊断场景，假阴性（漏诊）可能比假阳性（误诊）后果更严重，这时就需要特别关注召回率指标。

2. 核心指标详解与应用场景选择

2.1 准确率的陷阱与突围

新手最容易犯的错误就是盲目相信准确率（Accuracy）。去年我做信用卡欺诈检测时，准确率高达99.5%的模型实际毫无价值——因为欺诈交易只占0.5%，模型只要全部预测"正常"就能达到这个准确率。这就是典型的样本不均衡陷阱。

当正负样本比例超过1:10时，建议改用这些指标：

• 召回率（Recall）：宁可错杀不可放过（如癌症筛查）
• 精确率（Precision）：宁可放过不可错杀（如垃圾邮件过滤）
• F1分数：两者平衡（如推荐系统的商品去重）

2.2 精确率与召回率的实战权衡

在电商评论情感分析项目中，我们遇到过这样的困境：提高负面评论识别率（召回率）会导致更多误判（精确率下降）。通过调整分类阈值，我们绘制了P-R曲线：

from sklearn.metrics import precision_recall_curve
precisions, recalls, thresholds = precision_recall_curve(y_true, probas_pred)

最终选择0.4作为阈值，使召回率保持在85%的同时，精确率不低于70%。这种权衡需要与业务方充分沟通，比如客服资源充足时可以适当提高召回率。

3. 高级指标在复杂场景中的应用

3.1 多分类问题的评估策略

当类别增加到5个以上时，Micro和Macro F1的差异就显现出来了。在新闻分类项目中，体育类文章占比60%，科技类仅5%。我们发现：

• Micro F1：体育类准确率主导整体分数
• Macro F1：每个类别平等影响结果
• Weighted F1：按样本量加权平衡

最终选择取决于业务目标：是要保证大类别的准确性（Micro），还是关心小类别不被忽略（Macro）。

3.2 ROC与AUC的深入解读

金融风控中最有用的工具莫过于ROC曲线。通过以下代码可以直观比较不同模型：

from sklearn.metrics import roc_curve, auc
fpr, tpr, _ = roc_curve(y_true, y_scores)
roc_auc = auc(fpr, tpr)

有个经验公式：当AUC>0.9时模型非常优秀，0.8-0.9良好，0.7-0.8中等。但要注意，AUC高不代表在所有阈值下都好，还需要结合业务确定最佳操作点。

4. 特殊场景下的指标选择指南

4.1 医疗诊断中的敏感指标

在阿尔兹海默症早期预测项目中，我们特别关注MCC（马修斯相关系数）和Cohen's kappa。因为这些指标：

• 对样本不均衡不敏感
• 考虑所有分类情况（包括真阴性）
• 评估结果一致性

当两个医生的诊断结果需要比对时，kappa系数能达到0.6以上就说明具有显著一致性。

4.2 推荐系统的评估秘诀

很多同行不知道，在推荐系统AB测试中，**对数损失（LogLoss）**比准确率更有参考价值。因为它惩罚"自信的错误预测"，比如：

• 把用户讨厌的商品以90%概率推荐出去
• 把用户喜欢的商品只给30%推荐概率

这种细微差别是准确率无法捕捉的。计算LogLoss时要注意概率校准，过拟合的模型往往这项指标很差。

5. 指标组合与业务落地实践

实际项目中从不会单看一个指标。我们的标准操作流程是：

1. 先用混淆矩阵做全面诊断
2. 根据业务需求选择核心指标（如金融重精确率，医疗重召回率）
3. 用P-R曲线或ROC曲线确定最佳阈值
4. 最后用F1或AUC做模型间对比

曾经有个反欺诈项目，单纯看AUC两个模型相差无几，但结合业务要求的误报率限制后，最终选择了AUC略低但特定区间表现更稳的模型。这就是指标要服务业务的典型例子。