逻辑回归

1.介绍

线性回归很适用于解决预测数字类的，也就是y的值可能有无穷多种，但是对于分类问题，也就是y的值只有有限个可能的时候，线性回归往往效果不好。

线性回归做的是尽可能找出一条线能够接近所有的数据，但是分类问题只要最终的分类结果。

假设一个二元分类问题，肿瘤大小：大于10就是恶性，小于10就是良性，回归线在10

这时候多了一个案例，肿瘤大小为100的恶性案例，为了接近这个数据，回归线就会往右移，有可能导致一些刚大于10的肿瘤被判断为良性。

因此，我们引入了逻辑回归算法，这是使用最广泛的分类算法。

我们会使用到sigmoid函数，将预测值转换到0-1之间：

也就是y^hat=sigmoid(wx+b)

2.决策边界

假设我们定义0.5为判断边界，那么从y^hat=sigmoid(wx+b)可知，当wx+b>0的时候，y^hat>0.5，那么结果判断为1；当wx+b<0的时候，y^hat<0.5，那么结果判断为0。因此，决策边界就是wx+b=0

3.损失函数

3.1引入

对于分类问题，既然线性回归不适合了，那么本来计算损失函数的平方误差函数是否依然适用呢？答案是no。如果延用之前的平方误差的方法计算，损失函数就像这样：

这使得系统很难怕判断哪一个是最小值。

因此，我们介绍一种新的计算损失函数的方法：

f的范围是0到1，因此只需要看0-1段的函数，比如，实际值y=1的时候，f越靠近1，-log(f)越小，也就是这个单个案例的损失越小。

3.2简化版损失函数

之前的损失函数是根据y的值进行分开计算，但是根据y只能等于1或0，因此，单例计算Loss可以写成一个式子：

那么计算整个数据集的损失函数就可以写成：

你可能会疑问，为什么一定要用这个什么-log来计算呢？

这个是根据最大似然估计法得出来最适合计算损失函数的式子，-log还有一个很好的性质就是，它是凸函数

4.梯度下降

和线性回归计算梯度下降的步骤一样，wj=wj-学习率*J对wj的偏导

计算出来的式子如下：