机器学习实战：如何用L1和L2正则化解决过拟合问题（附代码示例）

在机器学习项目中，我们常常会遇到模型在训练集上表现优异，但在测试集上却差强人意的情况——这就是典型的过拟合问题。记得去年参与一个电商用户行为预测项目时，我们的初始模型在训练数据上准确率高达98%，但实际部署后对新用户的预测准确率骤降至65%。这种"纸上谈兵"的窘境，正是过拟合带来的噩梦。

过拟合就像一位死记硬背的学生，把课本例题背得滚瓜烂熟，却无法应对考试中的新题型。而正则化技术，特别是L1和L2正则化，就像是给这位学生制定的"学习策略"，帮助他在掌握核心知识的同时保持灵活应变能力。本文将带你从实际应用角度，通过Python代码示例，深入理解这两种正则化技术如何成为对抗过拟合的利器。

1. 理解正则化：从数学直觉到工程实践

正则化的本质是在模型训练过程中引入额外的约束条件，防止模型过度适应训练数据中的噪声和无关特征。想象你正在装修房子——L1正则化像是只选择必要的家具（特征选择），而L2正则化则是把所有家具都保留但缩小尺寸（权重衰减）。

1.1 过拟合的典型症状

在开始技术细节前，我们先识别几个过拟合的警示信号：

• 训练集与测试集表现差距大：比如训练准确率95%而测试只有70%
• 模型参数绝对值过大：某些特征的权重异常偏高
• 对微小数据变化敏感：输入数据稍有扰动就导致输出剧烈变化
• 学习曲线发散：随着训练进行，测试误差开始上升

# 过拟合示例：决策树无限深度
from sklearn.tree import DecisionTreeClassifier
overfit_model = DecisionTreeClassifier(max_depth=None)
overfit_model.fit(X_train, y_train)
print(f"训练准确率:{overfit_model.score(X_train, y_train):.2f}")
print(f"测试准确率:{overfit_model.score(X_test, y_test):.2f}")

1.2 正则化的数学表达

L1和L2正则化都是在原始损失函数中添加惩罚项：

• L1正则化（Lasso）：损失函数 = 原始损失 + α∑|wᵢ|
• L2正则化（Ridge）：损失函数 = 原始损失 + α∑wᵢ²

其中α是控制正则化强度的超参数。下面表格对比两者核心差异：

特性	L1正则化	L2正则化
数学形式	绝对值之和	平方和
解空间形状	菱形	圆形
特征选择能力	强（产生稀疏解）	弱
抗噪声能力	较弱	较强
计算效率	非连续优化，较慢	连续优化，较快
典型应用场景	高维特征选择	一般性防止过拟合

2. L1正则化实战：特征选择利器

L1正则化最显著的特点是能产生稀疏权重矩阵，这在实际项目中特别有用。去年我们团队处理一个用户画像项目时，面对3000多个原始特征，正是L1正则化帮我们筛选出了真正有价值的50个核心特征。

2.1 Scikit-learn实现Lasso回归

from sklearn.linear_model import Lasso
from sklearn.preprocessing import StandardScaler

# 数据标准化很重要！
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

# 尝试不同alpha值
alphas = [0.001, 0.01, 0.1, 1.0]
for alpha in alphas:
    lasso = Lasso(alpha=alpha, max_iter=10000)
    lasso.fit(X_train_scaled, y_train)
    
    # 统计非零特征数量
    non_zero = sum(lasso.coef_ != 0)
    print(f"alpha={alpha}: 使用特征数={non_zero}, 测试R2={lasso.score(X_test_scaled, y_test):.2f}")

提示：L1正则化对特征尺度敏感，务必先进行标准化处理。实践中常用StandardScaler或MinMaxScaler。

2.2 特征选择可视化

通过调整α值观察特征权重变化是理解L1的绝佳方式：

import matplotlib.pyplot as plt
import numpy as np

alphas = np.logspace(-4, 0, 100)
coefs = []
for a in alphas:
    lasso = Lasso(alpha=a, max_iter=10000)
    lasso.fit(X_train_scaled, y_train)
    coefs.append(lasso.coef_)

plt.figure(figsize=(10,6))
ax = plt.gca()
ax.plot(alphas, coefs)
ax.set_xscale('log')
ax.set_xlabel('Alpha (log scale)')
ax.set_ylabel('系数值')
ax.set_title('Lasso系数随正则化强度变化')
plt.show()

这张图会显示随着α增大，越来越多的特征权重被压缩为零——这正是L1进行特征选择的直观体现。

3. L2正则化实战：通用过拟合解决方案

相比L1的"特征杀手"特性，L2正则化更像是"和平主义者"，它让所有特征都参与决策，但限制它们的发言权。在图像识别等特征间相关性强的任务中，L2通常表现更优。

3.1 Ridge回归实现

from sklearn.linear_model import Ridge
from sklearn.metrics import mean_squared_error

ridge = Ridge(alpha=1.0)
ridge.fit(X_train_scaled, y_train)

# 比较有无正则化的权重分布
plt.figure(figsize=(10,5))
plt.subplot(1,2,1)
plt.hist(lasso.coef_, bins=30, color='blue', alpha=0.7)
plt.title('Lasso权重分布')
plt.subplot(1,2,2)
plt.hist(ridge.coef_, bins=30, color='green', alpha=0.7)
plt.title('Ridge权重分布')
plt.show()

3.2 超参数α的选择技巧

选择恰当的α值是正则化成功的关键。以下是几种实用方法：

1. 网格搜索+交叉验证：

from sklearn.model_selection import GridSearchCV

param_grid = {'alpha': np.logspace(-3, 3, 100)}
grid = GridSearchCV(Ridge(), param_grid, cv=5, scoring='neg_mean_squared_error')
grid.fit(X_train_scaled, y_train)
print(f"最佳alpha: {grid.best_params_['alpha']:.4f}")

2. 学习曲线法：

train_errors = []
test_errors = []
alphas = np.logspace(-5, 2, 100)

for alpha in alphas:
    ridge = Ridge(alpha=alpha)
    ridge.fit(X_train_scaled, y_train)
    train_errors.append(mean_squared_error(y_train, ridge.predict(X_train_scaled)))
    test_errors.append(mean_squared_error(y_test, ridge.predict(X_test_scaled)))

plt.plot(alphas, train_errors, label='训练误差')
plt.plot(alphas, test_errors, label='测试误差')
plt.xscale('log')
plt.legend()
plt.xlabel('Alpha')
plt.ylabel('MSE')
plt.show()

4. 高级技巧与综合应用

掌握了基础用法后，让我们看几个提升正则化效果的实战技巧。

4.1 ElasticNet：两全其美的选择

ElasticNet结合了L1和L2的优点，其损失函数为： 损失 = 原始损失 + α(ρ∑|wᵢ| + 0.5(1-ρ)∑wᵢ²)

from sklearn.linear_model import ElasticNet

enet = ElasticNet(alpha=0.1, l1_ratio=0.7)  # l1_ratio控制L1/L2混合比例
enet.fit(X_train_scaled, y_train)

# 比较三种方法的效果
models = {
    'Lasso': Lasso(alpha=0.1),
    'Ridge': Ridge(alpha=0.1),
    'ElasticNet': ElasticNet(alpha=0.1, l1_ratio=0.5)
}

for name, model in models.items():
    model.fit(X_train_scaled, y_train)
    score = model.score(X_test_scaled, y_test)
    print(f"{name}测试R2: {score:.4f}")

4.2 深度学习中的正则化

正则化在深度学习中同样重要，以Keras为例：

from keras.models import Sequential
from keras.layers import Dense
from keras.regularizers import l1_l2

model = Sequential()
model.add(Dense(64, input_dim=20, 
                activation='relu',
                kernel_regularizer=l1_l2(l1=0.01, l2=0.01)))
model.add(Dense(1, activation='sigmoid'))
model.compile(loss='binary_crossentropy', optimizer='adam')

# 同样可以添加dropout层
from keras.layers import Dropout
model.add(Dense(128, activation='relu'))
model.add(Dropout(0.5))  # 另一种正则化技术

4.3 业务场景选择指南

根据不同的业务需求选择正则化策略：

• 特征工程阶段：使用L1筛选重要特征
• 金融风控模型：L1（需要明确哪些特征影响决策）
• 图像/语音识别：L2（特征间相关性高）
• 高维小样本数据：ElasticNet（结合两者优势）
• 神经网络模型：L2 + Dropout组合

最后分享一个实际项目经验：在为银行构建信用评分模型时，我们先用Lasso筛选出30个关键特征，再用Ridge在这些特征上训练最终模型。这种组合策略比单独使用任一种正则化效果提升了15%的KS值。