机器学习主要研究的是在计算机上产生模型的“算法”，有了学习的算法，输入数据之后会产生模型，模型会处理新的数据。简单来说，假如生活中有10000张照片，其中有5000张是"猫“，5000张是”狗“，作为一个人类，你可以清晰地分辨，什么是猫，什么是狗。但是现在，我希望计算机也可以分辨。所以我需要设计一个算法，先用10000张图片训练，让机器学习猫的特征和狗的特征（监督学习），然后我输入10001张图，

线性回归的基本原理是，,找到一个w和b，使得最终的均方误差最小。公式推导过程中需要掌握的知识为：求导、矩阵乘法、矩阵运算，以及矩阵与向量的求导。bb。

是衡量模型泛化能力的评价标准。性能度量反映了任务需求，在对比不同模型的能力时，使用不同得性能度量会得到不同得结果。

的值，其中，y为样本是正例的可能性，1-y为样本为负例的可能性，若在几率前面加对数取对数值，则为对数几率。，y为样本的真实值，只需要能够算出每个 xi 下，p的值，就可以得到l(w,b)。,在给定w,b和 xi 的情况下，最大化l(w,b)。梯度下降法、牛顿法，都可以得到最优解。

1.先对各样本进行投影：（原理参考向量的投影，两个向量相乘除以自己的模长，就是对方的投影，此处类似）2.构造和其中 μi 代表第i类向量的均值，公式的含义为，对于每一个类别的向量x，计算其与均值向量的距离，最后求和含义为，两个类别均值向量的距离3.最终的优化目标为：,越大越好4.如何优化：因为J的分子与分母,w的次数相同，所以w的大小，对于最终的结果没有影响，但是其方向有影响。