重要的优化方式——正则化惩罚我们希望对一些特定的权重W添加一些偏好，对其他权重则不添加，以此来消除模糊性。即向损失函数增加一个正则化惩罚(regularization penalty)，最常用的正则化惩罚是L2范式，L2范式通过对所有参数进行逐元素的平方惩罚来抑制大数值的权重。​​​​​​​​​​​​​​​​​​​​​​​​​​​​假设输入向量x=[1,1,1,1].两个权重向量,w1...

1.4 梯度下降法（GradientDescent Optimization)代码如下：import numpy as npimport matplotlib.pyplot as pltif __name__ == '__main__':plot_x = np.linspace(-1, 6, 141)# 在-1到6之间取141个点plot_y = (plot_x - 2.5) **2 -1# 二次