## 1. 机器学习算法评估指标全景解读

在真实业务场景中，选择正确的评估指标往往比模型调参更重要。上周帮一个电商团队排查问题时发现，他们用准确率评估推荐系统，结果线上转化率反而下降——这正是选错评估指标的典型后果。本文将用Python代码演示如何针对不同任务选择合适的评估体系。

评估指标的核心价值在于：
- 分类任务：区分「预测正确」的不同维度（精确率 vs 召回率）
- 回归任务：量化预测值与真实值的误差分布
- 排序任务：衡量item序列的合理性（NDCG等）
- 异常检测：处理极端类别不平衡时的特殊策略

> 关键认知：没有放之四海而皆准的"最佳指标"，必须结合业务目标选择。比如信用卡欺诈检测宁可误杀不可放过，就要优先召回率而非准确率。

## 2. 分类任务评估指标体系

### 2.1 基础二分类指标实战

用sklearn加载乳腺癌数据集演示基础指标计算：

```python
from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

data = load_breast_cancer()
X_train, X_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.3)

model = LogisticRegression(max_iter=5000)
model.fit(X_train, y_train)
y_pred = model.predict(X_test)

关键指标计算示例：

from sklearn.metrics import precision_score, recall_score, f1_score

print("Precision:", precision_score(y_test, y_pred))  # 预测为正的样本中实际为正的比例
print("Recall:", recall_score(y_test, y_pred))  # 实际为正的样本中被预测为正的比例 
print("F1:", f1_score(y_test, y_pred))  # 精确率和召回率的调和平均

指标选择经验法则：

• 关注假阳性：用精确率（如垃圾邮件过滤）
• 关注假阴性：用召回率（如癌症筛查）
• 需要平衡：F1分数（客服质检场景）

2.2 多分类问题评估策略

对于手写数字识别这类多分类问题，指标计算需要指定平均策略：

from sklearn.metrics import precision_score
# macro平均：各类别平等权重
print(precision_score(y_true, y_pred, average='macro'))  
# micro平均：按样本量加权
print(precision_score(y_true, y_pred, average='micro'))

实际经验：当类别分布严重不均衡时（如欺诈检测），建议使用macro平均避免被主导类别淹没。

2.3 ROC与AUC的深度解析

ROC曲线揭示模型在不同阈值下的表现，特别适合比较不同算法：

from sklearn.metrics import roc_curve, auc
import matplotlib.pyplot as plt

y_scores = model.predict_proba(X_test)[:, 1]
fpr, tpr, thresholds = roc_curve(y_test, y_scores)
roc_auc = auc(fpr, tpr)

plt.plot(fpr, tpr, label='AUC = %0.2f' % roc_auc)
plt.plot([0, 1], [0, 1], 'k--')  # 对角线
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.legend(loc="lower right")

AUC值为0.5表示随机猜测，1.0表示完美分类。实践中：

• AUC > 0.9 非常优秀
• AUC > 0.8 值得上线
• AUC < 0.7 需要重新设计特征

3. 回归任务评估方法论

3.1 误差指标对比实验

波士顿房价预测示例：

from sklearn.datasets import load_boston
from sklearn.ensemble import RandomForestRegressor

boston = load_boston()
X_train, X_test, y_train, y_test = train_test_split(boston.data, boston.target)

model = RandomForestRegressor()
model.fit(X_train, y_train)
y_pred = model.predict(X_test)

关键回归指标实现：

from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score

print("MAE:", mean_absolute_error(y_test, y_pred))  # 绝对误差均值
print("MSE:", mean_squared_error(y_test, y_pred))  # 放大大误差的影响
print("R²:", r2_score(y_test, y_pred))  # 解释方差比例

指标选择指南：

• 业务可解释性：优先MAE（直接反映平均误差金额）
• 惩罚极端错误：用MSE或RMSE（如金融风控）
• 比较不同模型：R²更客观（消除量纲影响）

3.2 残差分析实战技巧

健康的回归模型残差应满足：

1. 均值为0的正态分布
2. 无明显的模式规律

可视化验证：

residuals = y_test - y_pred
plt.scatter(y_pred, residuals)
plt.axhline(y=0, color='r', linestyle='--')
plt.xlabel("Predicted Values")
plt.ylabel("Residuals")

若出现漏斗形分布，建议：

• 对目标变量取对数变换
• 尝试加权最小二乘法
• 添加高阶特征项

4. 排序任务与不平衡数据评估

4.1 推荐系统排序指标

使用LightFM推荐库演示NDCG计算：

from lightfm.evaluation import ndcg_score

# 假设已有用户-物品交互矩阵interactions和模型预测scores
train_ndcg = ndcg_score(model, interactions, train_interactions).mean()
test_ndcg = ndcg_score(model, interactions, test_interactions).mean()

NDCG@K的典型应用场景：

• 电商Top-K推荐（通常看NDCG@10）
• 新闻feed流排序
• 搜索引擎结果排序

4.2 处理极端类别不平衡

信用卡欺诈检测的评估策略：

from sklearn.metrics import precision_recall_curve, average_precision_score

precision, recall, _ = precision_recall_curve(y_true, y_scores)
ap = average_precision_score(y_true, y_scores)

plt.plot(recall, precision, label=f'AP={ap:.2f}')
plt.xlabel('Recall')
plt.ylabel('Precision')

当正样本比例<1%时：

• 不要使用准确率
• PR曲线比ROC更敏感
• 关注F2分数（β=2，更重视召回率）

5. 模型选择与交叉验证策略

5.1 交叉验证的指标聚合

Scikit-learn的cross_val_score默认使用scoring='accuracy'，但可自定义：

from sklearn.model_selection import cross_val_score

# 使用召回率作为评估指标
scores = cross_val_score(model, X, y, cv=5, scoring='recall_macro')
print("平均召回率:", scores.mean())

常用scoring参数：

• 'precision_macro'
• 'recall_micro'
• 'f1_weighted'
• 'roc_auc_ovo'（多类别AUC）

5.2 自定义评估指标

实现业务特定的评估函数：

from sklearn.metrics import make_scorer

def profit_score(y_true, y_pred):
    tp = sum((y_true == 1) & (y_pred == 1))
    fp = sum((y_true == 0) & (y_pred == 1))
    return tp * 500 - fp * 100  # 假设正确预测带来500收益，误判损失100

profit_scorer = make_scorer(profit_score)
cross_val_score(model, X, y, cv=5, scoring=profit_scorer)

避坑指南：自定义指标时注意处理edge cases（如全0预测），建议先用try-catch包裹。

6. 评估结果的可视化呈现

6.1 混淆矩阵热力图

使用seaborn增强可读性：

import seaborn as sns
from sklearn.metrics import confusion_matrix

cm = confusion_matrix(y_true, y_pred)
sns.heatmap(cm, annot=True, fmt='d', cmap='Blues')
plt.xlabel('Predicted')
plt.ylabel('Actual')

6.2 概率校准曲线

检测预测概率是否过于自信：

from sklearn.calibration import calibration_curve

prob_true, prob_pred = calibration_curve(y_test, y_scores, n_bins=10)
plt.plot(prob_pred, prob_true, marker='o')
plt.plot([0, 1], [0, 1], linestyle='--')

校准不良的模型表现：

• S型曲线：概率过于保守
• 反S型曲线：概率过于激进

7. 指标应用的实战经验

7.1 测试集泄露的预防

常见错误场景：

• 在交叉验证前做特征缩放（应分fold进行）
• 使用全数据计算类权重（应仅用训练集）
• 基于测试集选择特征（导致数据泄露）

正确做法：

pipeline = make_pipeline(
    StandardScaler(),  # 每个fold独立缩放
    SMOTE(sampling_strategy='minority'),  # 仅对训练数据过采样
    RandomForestClassifier(class_weight='balanced')
)

cv_scores = cross_val_score(pipeline, X, y, cv=StratifiedKFold(5))

7.2 指标选择的思维框架

决策树帮你选择核心指标：

1. 预测类型？

   • 分类 → 进入2
   • 回归 → 选MAE/MSE/R²
   • 排序 → 用NDCG/MAP

2. 类别平衡？

   • 平衡 → 看准确率/F1
   • 不平衡 → 进入3

3. 更怕假阳还是假阴？

   • 假阳 → 精确率优先
   • 假阴 → 召回率优先

最后分享一个私藏技巧：在sklearn的classification_report中添加output_dict=True参数，可以直接获取包含所有指标的字典，方便自动化报告生成：

report = classification_report(y_test, y_pred, output_dict=True)
print(report['1']['precision'])  # 获取正类的精确率