机器学习与深度学习简介

机器学习（Machine Learning）是人工智能的一个分支，它使计算机系统能够利用数据和算法自动学习和改进其性能。

深度学习则是机器学习的一个子集，特指利用人工神经网络，通过模仿人类大脑的数据处理和模式生成能力实现自动决策的算法。

与其他机器学习算法相比，深度学习的精度明显较高。人工神经网络是模拟人脑神经元的网络结构，正是人工神经网络使得深度学习成为可能。

深度学习

给出输入（x）和输出（y），让计算机自己去进行模拟、训练，找到函数，也就是x与y之间的关系

深度学习的输入与输出

输入（一般分为3类）：

1.  向量  （一个或几个数组组成）

2. 矩阵或张量
3. 序列（例如一段文本、一条视频、一段音频等，特点是一组具有前后关联的数据）

输出（任务类别）

1. 回归任务：可理解为填空题
2. 分类任务：图片： 猫/狗。 句子： 积极/消极。 疾病： 轻度/中度/重度。（选择）
3. 生成任务（结构化）：简答题。结构化输出的基础就是回归与分类，输入通过回归与分类产生我们想要的输出。

深度学习的步骤

通过初始预估值和真实的函数y作差得到损失函数，进而不断优化损失函数

loss被视为一个关于w和b的二元函数。找到loss的最小值和对应的参数w、b的过程就是优化。

梯度下降

不用严格数学语言描述，一个直观的定义就是，梯度被定义为包含函数偏导数的向量，并指向函数值增加最快的方向。即梯度的方向就是函数值增加最快的方向。

梯度下降法的作用就是寻找一个“极小值点”，从而让函数的值尽可能地小（可能导致局部最优，而不是全局最优）。算法的最开始会 「随机」 寻找一个位置然后开始搜索「局部」的最优解（也就是初始的w是随机生成），如果运气好的话能够寻找到一个最小值的极值点，运气不好或许找到的就不是最小值的那个极小值点了。

那么根据梯度的定义，要找一个尽可能使函数值最小的点，就让函数沿着梯度的反方向变化就好了。

学习率

学习率（learning rate）是深度学习和机器学习中控制模型参数（如权重和偏置）更新步伐的重要超参数。它决定了每次优化算法（如梯度下降）更新参数时的步长大小，从而影响模型训练的速度和效果。

具体作用

学习率过大：如果学习率太大，参数更新的步伐过大，可能会错过最佳解（全局最优或局部最优），甚至导致训练过程不稳定或发散（即损失值不断增大）。

学习率过小：如果学习率太小，参数更新步伐过小，虽然可以逐步接近最优解，但训练过程会非常慢，需要较长的时间才能收敛到理想的结果，甚至可能卡在次优解附近不动。