1. 决策树：机器学习的"选择题"神器

第一次听说决策树时，我脑海中浮现的是一棵挂满问号的树。实际上，它比这形象有趣得多——就像我们每天做的选择题。比如早上纠结"要不要带伞"，你会先看天气APP，如果有雨就带伞，没雨再看紫外线强度决定是否带防晒伞。这种层层递进的判断过程，就是决策树的精髓。

决策树的核心是递归二分法。想象你在玩20问游戏："是动物吗？""能飞吗？"每个问题都将可能性空间一分为二。算法通过计算信息增益（ID3算法）或基尼系数（CART算法）来选择最佳分裂特征。举个例子，银行用决策树审批贷款时，会优先选择"年收入>50万"这样能最大限度区分违约客户的特征。

我用Python的sklearn演示一个真实的招聘案例：

from sklearn.tree import DecisionTreeClassifier
import pandas as pd

# 加载招聘数据
data = pd.read_csv("hiring_data.csv") 
features = data[['工作经验','学历','实习经历']]
labels = data['录用结果']

# 训练深度为3的决策树
clf = DecisionTreeClassifier(max_depth=3)  
clf.fit(features, labels)

# 预测一个新候选人
print(clf.predict([[5, 2, 1]]))  # 输出[1]表示录用

这个过程中，算法会自动计算每个特征的区分度。比如可能发现"实习经历=1"比"学历=2"更能预测录用结果，就会优先按实习经历分裂节点。

决策树最大的优势是可解释性。通过graphviz可视化，你能清晰看到判断逻辑：

from sklearn.tree import export_graphviz
export_graphviz(clf, out_file='tree.dot', 
               feature_names=features.columns,
               class_names=['拒绝','录用'],
               rounded=True)

生成的流程图连业务部门都能看懂——这在金融、医疗等需要模型解释性的领域至关重要。

2. 随机森林：三个臭皮匠顶个诸葛亮

但单棵决策树有个致命弱点：容易过拟合。就像学生死记硬背考题，在训练集上表现完美，遇到新数据就懵了。我在第一次客户信用评估项目中就踩过这个坑——模型对历史数据准确率98%，上线后暴跌到65%。

随机森林(Random Forest)的智慧在于"集体决策"。它通过两种随机性构建多棵差异化的树：

1. 行随机：对原始数据有放回抽样(bootstrap)，每棵树只用约63%的原始数据
2. 列随机：每个节点分裂时，只考虑特征子集(mtry参数控制)

这样生成的森林中，单棵树可能表现平平，但通过投票或平均机制，整体预测反而更稳健。这就像诊断疑难杂症时，多位专家会诊比单个专家更可靠。

用Python实现一个基础版：

from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import cross_val_score

rf = RandomForestClassifier(n_estimators=100, 
                          max_features='sqrt',
                          oob_score=True)
scores = cross_val_score(rf, features, labels, cv=5)
print(f"交叉验证准确率：{scores.mean():.2f}")  # 通常比单棵树高5-15%

这里有两个实用技巧：

• 设置oob_score=True可以利用未参与训练的37%数据做验证
• max_features控制特征随机性，分类问题常用sqrt(总特征数)

我曾用随机森林为电商做用户流失预测。通过feature_importances_发现，最近登录间隔的影响力是消费金额的3倍，这个洞察直接改进了他们的唤醒策略。

3. 实战指南：从数据清洗到模型调优

在实际项目中，算法选择只是冰山一角。根据我的踩坑经验，完整的流程应该是这样的：

3.1 数据预处理

• 缺失值处理：随机森林本身支持缺失值，但建议先填充。对于类别特征，我常用-999标记；连续特征用中位数填充

data['收入'] = data['收入'].fillna(data['收入'].median())
data['学历'] = data['学历'].fillna(-999)

• 类别编码：避免直接用LabelEncoder，优先考虑OneHot或Ordinal编码

from sklearn.preprocessing import OrdinalEncoder
edu_levels = [['高中','本科','硕士','博士']]
data['学历'] = OrdinalEncoder(categories=edu_levels).fit_transform(data[['学历']])

3.2 特征工程

• 业务特征：在金融风控中，衍生"负债收入比"这类复合特征往往比原始数据更有效
• 交互特征：用PolynomialFeatures生成特征组合

from sklearn.preprocessing import PolynomialFeatures
poly = PolynomialFeatures(degree=2, interaction_only=True)
features_poly = poly.fit_transform(features)

3.3 参数调优

随机森林有多个关键参数：

1. n_estimators：树的数量。建议从100开始，增加到性能不再提升
2. max_depth：树的最大深度。可通过早停策略自动确定
3. min_samples_split：节点分裂最小样本数，防止过拟合

用GridSearchCV系统搜索：

from sklearn.model_selection import GridSearchCV
param_grid = {
    'n_estimators': [50, 100, 200],
    'max_depth': [None, 10, 20],
    'min_samples_split': [2, 5, 10]
}
grid_search = GridSearchCV(rf, param_grid, cv=5)
grid_search.fit(features, labels)
print(f"最佳参数：{grid_search.best_params_}")

4. 避坑指南：常见问题与解决方案

4.1 类别不平衡问题

在欺诈检测等场景中，正负样本可能相差悬殊。我有次遇到99:1的极端情况，模型直接全预测负类。解决方法：

• 类权重调整：class_weight='balanced'
• 过采样(SMOTE)或欠采样

from imblearn.over_sampling import SMOTE
X_res, y_res = SMOTE().fit_resample(features, labels)

4.2 特征重要性陷阱

特征重要性高不一定代表因果关系。曾有个案例显示"用户使用IE浏览器"与流失强相关，实际是因为IE用户多为中老年人。解决方案：

• 结合SHAP值分析
• 进行AB测试验证

4.3 模型部署考量

• 内存限制：1000棵树的森林可能上百MB，移动端需剪枝或改用LightGBM
• 预测延迟：对于实时系统，可通过n_jobs参数并行预测

# 启用多核预测
rf = RandomForestClassifier(n_estimators=100, n_jobs=-1)

随机森林虽强，也不是银弹。当特征间存在复杂交互（如CV/NLP），深度学习可能更合适。但对于结构化数据，它至今仍是我的首选武器库——尤其在需要快速验证想法时，半小时就能构建一个baseline模型。