小白入门记录自己网课笔记并整理，欢迎交流

监督学习和非监督学习

这里是监督学习里面的分类算法

具体的区别在上一篇帖子“机器学习-线性回归”里面

分类算法：例如判断患病或者没有患病，对情绪的识别（假如给出5种情绪）

决策边界

只有两个可能输出的分类问题称为二元分类，其中“二元”是指只有两种可能的类别或两个可能的分类。

将一个预测范围里面的值判为类别1，另一个预测范围判为类别2

判别的分界线成为决策边界。

逻辑回归

因为得到输出值判别然后得到类别，逻辑回归将输出值限定到0-1之间，更好处理。

输入一个特征或一组特征X，并输出一个介于0和1之间的数。

当z趋于正无穷，g(z)趋于1

z趋于负无穷，g(z)趋于0

逻辑回归的成本函数

损失函数如果和线性回归一样，会发生什么

左边是线性回归，一个凸函数，可以慢慢得到最小值

右边引入了逻辑回归，一个非凸代价函数，在用梯度下降时会收敛到局部最小值。

为了使用梯度下降得到全局最小值，这里对代价函数进行一些变化

损失函数衡量的是你在单个训练样本上的表现，通过将所有训练样本的损失相加，你就可以得到代价函数。他衡量的是你在整个训练集上的表现。

这里给出逻辑回归的损失函数的定义

损失函数

第一种情况：y（i）=1

因为f是0-1之间，只分析这部分。

蓝色是y=1时候的,如果f趋于1，loss趋于0。f趋于0，loss趋于无穷。

第二种情况：y（i）=0

这样得到的损失函数可以顺利找到全局最小值，不会存在多个局部最小值的情况

简化后成本函数

上面那个与下面等价，而且下面那个函数把2种情况结合到一起了

梯度下降实现

其实就是将成本函数带入梯度下降的公式。

与线性回归比较明显的区别：

1.回归函数不一样（将输入限制在0-1之间）

2.决策边界（将一种输出范围归到一类）

3.损失函数不一样（解决多个局部最小值，无法使用梯度下降求解使得成本函数最小时，w和b的值）