一、有监督学习的概念

 1.概念

        有监督学习：从有标记的训练数据中学习推断函数。

        目标函数：Y=f(X)或P(Y|X)

2.有监督学习方法一: 产生式模型/生成式模型

• 对联合分布的进行推断：p(x,y)=p(y)p(x|y)
• 使用贝叶斯定理计算条件分布p(y|x):
• 利用条件概率密度来预测

3.有监督学习方法二：判别式模型

• 直接估计条件概率分布p(y|x)或条件概率密度函数p(y|x)
• 根据估计的函数确定输出

4.有监督学习方法三：判别函数

        寻找一个函数f(x)，将每个输入直接映射到目标输出。概率不起直接作用：不能直接获取后验概率，f通常旨在近似条件分布p(y|x)

二、回归方法

1.回归问题

 

 2.最小二乘法

 

 BGD的优点：

• 一次迭代是对所有样本进行计算，此时利用矩阵进行操作，实现了并行。
• 由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。当目标函数为凸函数时，BGD一定能得到全局最优。

BGD的缺点：

• 当样本数目N很大时，每迭代一步都需要对所有样本计算，训练过程会很慢。

3.广义线性回归

 4.广义线性回归的闭式解

        在高斯噪声模型下，最小化平方误差与最大似然的解相同。

5.正则化的LMS与MAP

6.参数的后验概率

        后验概率仍然是高斯分布

 

        最大化后验等同于最小化带有正则项的平方和误差。

         

三、分类方法

1.分类问题

 2.判别函数法

        二类问题：y=1或y=-1

        求解w，f(x,w)=y

        使用y=1或y=-1，所有数据满足wTxy>0

3.判别式模型：logistic回归

        估计后验概率p(y|x)

 4.求解：最大似然估计

 5.多类logistic回归

6.优化多类LR

 

 四、生成式模型

1.高斯判别分析（GDA）

 2.朴素贝叶斯