损失函数只有w一个参数，先随机找一个初始点w0，计算该点的斜率，结合学习率进行更新w权重，可以想象一个人想下山，在该点出左看右看，发现哪里是下山的路，反复迭代后，可能会出现如下图的情况，陷入局部最优点。，模型越来越复杂，在测试集表现越来越好，但测试集表现越来越差，模型出现过拟合问题，同时，我们在选择模型时，要选择在测试集表现最好的模型？），箭头的方向都等高线出的切线方向，在线性模型中，我们的los

为什么loss函数不使用square error，在梯度下降时，如果真实值是1，但预测值为1和0时，只有预测值为1是符合的，而预测值为0时，会出现严重的问题，即真实值和预测值完全不符合，而w权重更新成0了，停止更新了。模型就是这个样子，一个带有偏置的线性函数经过Sigmoid函数，经过sigmoid激活以后，输出的值被压缩到0-1，这是跟线性回归最大的特点。指数化，取值在0-1；有N个样本，要被分

对美国各州进行one-hot编码，选用MSE（Mean Square error）下载 Google Drive 上 ID 为的文件，并。下载 ID 为的文件，并。

将验证集分为n个，这里是将训练集分为三份，两份是训练集，一份是验证集，重复三次，并用三个模型各跑三次，算出平均值，比较哪个模型更好。左边是训练数据的表现，右边是测试数据的表现。层数越多反而表现不好，理想状态下，层数越多应该表现越好，损失越低。屠龙秘籍，mismatch是训练样本和真实样本的分布不一样。选择一个刚刚好的模型，在train和test表现都好。推荐看valid的损失，不是看public的