1.偏差与方差

在这个例子中，我们可以发现，左侧的图像有较高的偏差，最右侧的图像有较高的方差，他们一个代表欠拟合，一个代码过拟合，而中间的图像看起来刚刚好，在实际的模型建立的过程中，我们不可能每次都去生成图像来进行判断模型效果，所以我们就需要一些指标来作为判断依据，求中偏差和方差就是如此

判断标志

• 存在高方差=交叉验证集成本远高于训练集成本
• 存在高偏差=高训练集成本
• 低偏差与方差=$$J_{train}很低，J_{cv}也很低，且和J_{train}差不了多少$$

2.正则化

正则化对模型的影响

上图可知，正则化系数λ很大时候，会导致欠拟合，很小时候(0)，会导致过拟合

如果你有一个基准性能水平，也可以据此来对你的模型进行判断

3.学习曲线

J_train,J_cv与数据集关系

• 上图展示了随着数据集大小而变换的$$J_{train},J_{cv}$$
• 当我们的数据集很小时候，想要拟合就变得容易，而随着数据集增大，拟合就变得不是那么容易，所以J_train刚开始很小，之后变大
• 但是交叉验证集恰恰相反，刚开始数据集小，想要拟合未见过的数据就变得十分困难，但是随着数据集变大，模型的拟合能力更好，更容易去拟合未见过的数据，所以曲线会下降
• 但是注意，交叉验证集成本总是高于训练集成本

具有高偏差学习曲线

高偏差的学习曲线如上图所示，我们可以得到一个关键的结论，如果你的模型具有高偏差，那么无脑的堆砌数据集，增加数据集大小并不会有太大的帮助，曲线趋于平缓不会下降到一个人类水平表现

具有高方差学习曲线

高方差的学习曲线如上图所示，我们可以得到一个关键的结论，如果你的模型具有高方差，那么增加数据集大小会有一定的帮助，虽然会提高训练成本，但也是靠近人类水平表现，同时会降低交叉验证成本，让模型能够更好的预测未见过的数据

解决方法

图上提供了6种解决办法，请读者自行查看，但注意，一般来说通过减小数据集来避免高训练成本是没有帮助的