从CS188项目看机器学习基础：非线性回归与数字分类的对比分析

在机器学习领域，CS188项目常被用作教学案例，帮助学生理解不同类型任务的建模差异。非线性回归和数字分类虽然都属于监督学习的范畴，但在模型设计、损失函数选择以及评估标准上存在显著区别。本文将深入对比这两种任务的技术实现细节，帮助读者建立更系统的机器学习知识框架。

1. 任务定义与数据特性对比

1.1 非线性回归任务解析

非线性回归的目标是学习输入与连续输出值之间的复杂映射关系。在CS188项目中，任务要求拟合sin(x)函数，这是一个典型的非线性函数逼近问题：

# 数据生成示例
import numpy as np
x = np.linspace(-2*np.pi, 2*np.pi, 1000)
y = np.sin(x)

这类任务的关键特征包括：

• 输出空间连续无界
• 评估指标通常采用均方误差(MSE)
• 需要模型具备非线性表达能力

1.2 数字分类任务特点

MNIST手写数字分类是计算机视觉的经典入门任务，其特点包括：

特性	描述
输入维度	28×28=784维向量
输出空间	10个离散类别(0-9)
数据分布	像素值归一化到[0,1]区间
评估指标	分类准确率

# 数据预处理示例
from tensorflow.keras.datasets import mnist
(train_images, train_labels), _ = mnist.load_data()
train_images = train_images.reshape((-1, 784)) / 255.0

2. 模型架构设计对比

2.1 非线性回归的神经网络实现

CS188项目中采用了两层全连接网络结构：

输入层(1维) → 隐藏层(100维, ReLU) → 输出层(1维)

关键设计考虑：

• 隐藏层宽度足够捕获非线性
• 输出层不使用激活函数
• 参数初始化范围需要适配sin函数的输出尺度

提示：回归任务最后一层通常不设激活函数，以保持输出范围的连续性

2.2 数字分类的模型调整

数字分类模型虽然结构相似，但存在重要差异：

class DigitClassificationModel:
    def __init__(self):
        self.w0 = nn.Parameter(784, 100)  # 输入维度显著增大
        self.w1 = nn.Parameter(100, 10)   # 输出维度对应类别数

主要调整点：

• 输入层维度扩展至784
• 输出层维度设为10（对应10个数字类别）
• 隐藏层激活函数仍使用ReLU

3. 损失函数与优化策略

3.1 回归任务的损失计算

非线性回归采用均方误差损失：

def get_loss(self, x, y):
    return nn.SquareLoss(self.run(x), y)

MSE的数学形式：

L = 1/N Σ(y_pred - y_true)²

特点：

• 对离群点敏感
• 梯度随误差线性变化
• 量纲与原始数据一致

3.2 分类任务的损失选择

数字分类使用softmax交叉熵损失：

def get_loss(self, x, y):
    return nn.SoftmaxLoss(self.run(x), y)

交叉熵的特性：

• 鼓励正确类别的概率接近1
• 梯度与误差成比例
• 对错误分类惩罚更严厉

注意：分类任务中label需转换为one-hot编码形式

4. 训练过程与终止条件

4.1 回归训练的停止标准

非线性回归采用损失阈值作为停止条件：

if nn.as_scalar(self.get_loss(nn.Constant(dataset.x), nn.Constant(dataset.y))) <= 0.02:
    return

这种方式的优缺点：

• 优点：直接优化目标指标
• 缺点：需要谨慎选择阈值
• 风险：可能陷入局部最优

4.2 分类任务的验证策略

数字分类使用验证集准确率：

if dataset.get_validation_accuracy() >= 0.975:
    return

分类任务评估的特点：

• 通常需要独立的验证集
• 准确率指标更直观
• 可能需结合其他指标(如混淆矩阵)

5. 实际应用中的扩展思考

5.1 模型容量与过拟合

两种任务都需要注意模型复杂度控制：

技术	回归任务应用	分类任务应用
正则化	L2权重衰减	Dropout层
早停	基于验证损失	基于验证准确率
批归一化	稳定训练	加速收敛

5.2 特征工程的差异

• 回归任务：

  • 特征缩放很重要（如归一化）
  • 多项式特征可能有效
  • 时序特征需特殊处理

• 分类任务：

  • 图像增强（旋转、平移）
  • 特征选择更重要
  • 类别不平衡需处理

# 图像增强示例
from tensorflow.keras.preprocessing.image import ImageDataGenerator
datagen = ImageDataGenerator(rotation_range=10, width_shift_range=0.1)

在实际项目中，选择哪种建模方式取决于问题的本质属性。理解这些基础任务的差异，能为更复杂的机器学习应用打下坚实基础。