逻辑回归是一种较为简单的分类算法。通常是将线性回归的预测值放入不同的中概率密度函数中，得到是某一类的概率，根据概率大小判断是否为某一类别。谈到逻辑回归必然离不开线性回归，线性回归能够通过损失函数的约束与对特征的学习得到如下的公式：每组x和w的第一位相乘即为截距。对于函数简单的函数，我们追求运算速度，使用牛顿法能够更快的得到答案。

贝叶斯定理由英国数学家贝叶斯( Thomas Bayes 1702-1761年) 发展，用来描述两个条件概率之间的关系，比如 P(A|B) 和 P(B|A)。贝叶斯数学模型，在假设特征之间互不相关联，互相独立的情况下，利用特征的联合分布与先验概率得到最终的预测类别。这里翻译成文字的语言就是，事件A在事件B发生的前提下发生的条件概率=事件A事件B共同发生的概率/事件B发生的概率。根据同时根据以上公式

使用回归模型常用的损失函数MSE(Mean Squared Error，均方误差)作为手写模型的损失函数，其公式为：y为实际值，为预测值，上述公式计算了预测值与实际观测值之间差异的平方的平均值。当该值越小，表示模型的预测结果与实际观测值之间的差异越小，则模型拟合效果越好。MSE 是一个非负的指标，其值为 0 表示模型完全拟合了数据。然而，MSE 也存在一个问题，即它对异常值比较敏感，因为误差的平方

逻辑回归是一种较为简单的分类算法。通常是将线性回归的预测值放入不同的中概率密度函数中，得到是某一类的概率，根据概率大小判断是否为某一类别。谈到逻辑回归必然离不开线性回归，线性回归能够通过损失函数的约束与对特征的学习得到如下的公式：每组x和w的第一位相乘即为截距。对于函数简单的函数，我们追求运算速度，使用牛顿法能够更快的得到答案。