近期学习了李宏毅老师的深度学习课程，其中关于“回归（Regression）”“误差来源（Error Source）”以及“梯度下降（Gradient Descent）”三个部分让我对机器学习的基本思想有了更加系统的认识。通过学习，我不仅理解了模型训练的基本流程，也对机器学习中“如何让模型不断优化”这一核心问题有了较深体会。

一、回归学习的基本认识

回归学习是机器学习中最基础、最重要的方法之一，其核心目标是通过已有数据建立输入与输出之间的函数关系，并利用该函数预测未知结果。例如，根据过去几年的房价数据预测未来房价，根据气温变化预测电力消耗等，都属于回归问题。

在课程中，李宏毅老师以“预测宝可梦CP值”为例，形象地说明了回归模型的构建过程。

为了让模型能够更准确地预测结果，需要利用训练数据不断调整参数。训练数据通常由输入和真实输出组成，模型通过比较预测值与真实值之间的差距来优化自身。

我认识到，回归学习本质上就是“寻找最合适函数”的过程。模型越合理、参数越准确，预测效果就越好。虽然简单线性回归只有一个变量，但其思想却是深度学习中神经网络训练的重要基础。

 

二、误差来源的理解

在机器学习中，模型预测结果与真实结果之间总会存在差异，这种差异被称为“误差（Error）”。课程中提到，误差主要来源于以下几个方面：

1. 模型偏差（Bias）

偏差表示模型本身过于简单，无法准确描述真实数据规律。例如，用一条直线去拟合明显的曲线关系时，即使不断训练，模型也难以得到理想结果。

这说明模型结构设计非常重要。如果模型表达能力不足，就会出现“欠拟合（Underfitting）”。

2. 方差（Variance）

方差表示模型对训练数据过度敏感。当模型过于复杂时，会把训练数据中的噪声也学习进去，导致在新数据上的表现变差，即“过拟合（Overfitting）”。

课程中强调，一个好的模型需要在偏差与方差之间取得平衡。模型过于简单或过于复杂都不利于实际应用。

3. 数据噪声

现实中的数据往往存在测量误差、不完整数据或异常值。例如天气、经济等问题本身就具有随机性，因此模型不可能做到百分之百准确。

通过学习我意识到，机器学习并不是“万能预测”，而是在有限信息下尽可能降低误差。

为了衡量误差，课程中引入了“损失函数（Loss Function）”的概念。在线性回归中，常用均方误差（MSE）：

损失函数越小，说明模型预测越准确。因此，机器学习训练的目标实际上就是不断降低损失值。

 

三、梯度下降算法的学习体会

梯度下降（Gradient Descent）是深度学习中最核心的优化算法之一，其作用是帮助模型自动找到最佳参数。

李宏毅老师将梯度下降比喻为“下山找最低点”。假设损失函数形成一个山谷，我们需要不断调整参数，使当前位置朝着下降最快的方向移动，最终找到最低点。

梯度下降的更新公式为：

通过不断重复“计算梯度—更新参数”的过程，模型的误差会逐渐减小。

在学习过程中，我对“学习率”印象特别深刻：

• 学习率太大，可能会错过最优解，甚至来回震荡；

• 学习率太小，则训练速度很慢。

因此，选择合适的学习率十分关键。

此外，我还了解到梯度下降有不同形式：

1. Batch Gradient Descent（批量梯度下降）
每次使用全部数据更新参数，稳定但速度较慢。

2. Stochastic Gradient Descent（随机梯度下降）
每次只使用一笔数据更新参数，速度快但波动较大。

3. Mini-batch Gradient Descent（小批量梯度下降）
综合两者优点，也是深度学习中最常用的方法。

 

四、学习收获与总结

通过对回归学习、误差来源和梯度下降的学习，我逐渐理解了深度学习的基本逻辑：
“建立模型—计算误差—利用梯度下降优化参数—不断降低损失”。

虽然目前学习的内容仍属于基础部分，但这些知识构成了后续神经网络、卷积网络以及大模型学习的重要基础。

李宏毅老师的课程特点是讲解生动、逻辑清晰，能够通过大量实例帮助学生理解抽象概念。特别是在讲解梯度下降时，通过图像和动画演示，使我更加直观地理解了参数优化过程。

未来，我希望继续深入学习神经网络、反向传播（Backpropagation）以及Transformer等内容，并尝试利用Python实现简单的机器学习模型，将理论与实践结合起来，不断提升自己的人工智能学习能力。