Scikit-learn 机器学习：线性回归实战（附代码）

线性回归是机器学习中最基础的监督学习算法之一，用于预测连续值目标变量。它通过建立输入特征与输出目标之间的线性关系模型来实现预测。在本文中，我将逐步介绍线性回归的原理、Scikit-learn 库的实现方法，并提供完整的 Python 代码示例，帮助您快速上手实战。

1. 线性回归的基本原理

线性回归假设目标变量 $y$ 与输入特征 $x_1, x_2, \ldots, x_n$ 之间存在线性关系，模型可表示为： $$ y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_n x_n + \epsilon $$ 其中：

• $\beta_0$ 是截距项（常数项），
• $\beta_1, \beta_2, \ldots, \beta_n$ 是特征系数，
• $\epsilon$ 是随机误差项。

训练模型的目标是找到最优系数，使预测值 $\hat{y}$ 与实际值 $y$ 的误差最小化。常用损失函数为均方误差（MSE）： $$ \text{MSE} = \frac{1}{m} \sum_{i=1}^{m} (y_i - \hat{y}_i)^2 $$ 其中 $m$ 是样本数量。通过最小化 MSE，模型可以拟合数据。

2. Scikit-learn 实现步骤

Scikit-learn 提供了 LinearRegression 类，简化了线性回归的实现。以下是核心步骤：

1. 导入库：加载必要的 Python 库。
2. 准备数据：生成或加载数据集，划分为特征矩阵 $X$ 和目标向量 $y$。
3. 创建模型：实例化线性回归模型。
4. 训练模型：使用数据拟合模型，计算系数。
5. 预测与评估：对新数据进行预测，并评估模型性能（如使用 $R^2$ 分数）。

3. 完整代码示例

以下是一个实战代码示例，使用 Scikit-learn 实现线性回归。代码包括数据生成、模型训练、预测和简单可视化。

# 导入必要库
import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
from sklearn.metrics import r2_score

# 步骤1: 生成样本数据（模拟线性关系）
np.random.seed(42)  # 设置随机种子确保可重复性
X = np.linspace(0, 10, 100).reshape(-1, 1)  # 特征矩阵 (100个样本, 1个特征)
y = 2 * X.squeeze() + 1 + np.random.normal(0, 1, 100)  # 目标向量: y ≈ 2x + 1 + 噪声

# 步骤2: 创建并训练线性回归模型
model = LinearRegression()  # 实例化模型
model.fit(X, y)  # 拟合数据

# 步骤3: 输出模型参数
print(f"截距项 (β0): {model.intercept_:.2f}")
print(f"特征系数 (β1): {model.coef_[0]:.2f}")

# 步骤4: 预测新数据
X_new = np.array([[5], [7]])  # 新样本特征
y_pred = model.predict(X_new)  # 预测目标值
print(f"预测值 (X=5): {y_pred[0]:.2f}, (X=7): {y_pred[1]:.2f}")

# 步骤5: 评估模型性能
y_train_pred = model.predict(X)  # 训练集预测
r2 = r2_score(y, y_train_pred)  # 计算R²分数
print(f"模型R²分数: {r2:.2f} (越接近1表示拟合越好)")

# 可视化结果
plt.scatter(X, y, color='blue', label='实际数据点')
plt.plot(X, model.predict(X), color='red', linewidth=2, label='回归线')
plt.xlabel('特征 X')
plt.ylabel('目标 y')
plt.title('线性回归拟合效果')
plt.legend()
plt.show()

4. 代码解释与输出

• 数据生成：使用 numpy 创建了 100 个样本，特征 $X$ 范围在 [0,10]，目标 $y$ 基于线性关系 $y \approx 2x + 1$ 添加高斯噪声。
• 模型训练：LinearRegression().fit(X, y) 自动计算最优系数。输出类似：

  截距项 (β0): 1.05
  特征系数 (β1): 1.98
  预测值 (X=5): 10.95, (X=7): 14.91
  模型R²分数: 0.96
  

• 评估：$R^2$ 分数接近 1，表示模型拟合良好。
• 可视化：Matplotlib 绘制散点图和回归线，直观展示拟合效果。

5. 实战建议

• 数据预处理：实际应用中，需标准化特征（如使用 StandardScaler），避免数值差异影响系数。
• 多特征扩展：本示例使用单特征，但线性回归支持多特征。只需扩展 $X$ 的维度，例如 X = np.array([[x1, x2], ...])。
• 过拟合问题：如果特征过多，可添加正则化（如 Ridge 或 Lasso 回归），在 Scikit-learn 中通过 Ridge 类实现。
• 应用场景：适用于房价预测、销量分析等连续值预测任务。

通过这个实战示例，您已掌握 Scikit-learn 线性回归的核心操作。继续探索更多数据集（如波士顿房价数据集）来深化理解！