1. 监督学习、无监督学习与强化学习

1.1 理解

监督学习: 假设数据独立同分布，从标注数据中学习预测模型

无监督学习： 输入数据没有被标记，也没有确定的结果。

半监督学习： 利用少量标注样本和大量未标注样本辅助进行机器学习

强化学习： 智能系统在与环境的连续互动中学习最优行为策略的机器学习问题，它主要包含四个元素，agent，环境状态，行动，奖励，在每一步t,agent从环境中观测到一个状态st和奖励rt，进而采取一个动作at；环境根据agent的动作，决定下一步的t+1的状态st+1与奖励rt+1

• 强化学习目的：长期累积奖励最大化，而非短期

1.2 区别

监督学习： 从已知特定商品和特定类别用户中学习并推荐，输入与输出一一映射
非监督学习： 将先前知道的已经买过的相似商品推荐给用户，学习的是一种模式，没有特定结果
强化学习： 先推荐少量的商品试探，不断根据用户的反馈改变决策，最后构建用户可能会喜欢的文章的“知识图谱”

• 强化学习面对的输入总是在变化，每当算法做出一个行为，它影响下一次决策的输入，而监督学习的输入是独立同分布的

2.监督学习应用

人们根据输入输出变量的不同类型，对预测任务分以下类型：
回归问题： 输入变量与输出变量均为连续变量的预测问题
分类问题： 输出变量为有限个离散变量的预测问题
标注问题： 输入与输出变量均为变量序列的预测问题

3.概率模型与非概率模型

条件概率分布P(y|x)和函数f(x)可以相互转化,前者最大化得到后者，后者归一化得到前者

概率模型与非概率模型之间的区别不在于输入输出的映射(函数可以互相转化)，而在于模型内在结构，概率模型一定可以表示为联合概率分布的形式，非概率模型不一定存在这样的联合概率分布

概率模型： 决策树、朴素贝叶斯、隐马尔科夫模型、条件随机场、概率潜在语义分析、狄利克雷分配、高斯混合模型…

• 概率模型的代表是概率图模型，如贝叶斯网络、马尔科夫随机场、条件随机场等

非概率模型： 感知机、线性支持向量机、AdaBoost、K近邻、K均值、潜在语义分析、神经网络等

• 逻辑回归既可看作概率模型，又可看作非概率模型

概率图模型是联合概率分布由有向/无向图表示的概率模型，联合概率分布可以分解为因子乘积的形式。无论模型多么复杂，均可由最基本的加法和乘法规则进行概率推理。

4. 生成模型与判别模型

• 在监督学习中，概率模型是生成模型，非概率模型是判别模型

4.1生成模型和判别模型的优缺点

判别模型：判别模型是寻找不同类别之间的最优分类面，反映的是异类数据之间的差异。判别模型不能反映数据本身的特性。但是判别模型简单易懂，而且可以对数据进行各种抽象、定义特征并使用特征，可以简化学习问题。

生成模型：生成模型能反映数据之间的关系，而且可以做增量学习，生成模型的学习收敛速度更快，而且对于存在隐变量的问题，仍可以使用生成模型（如隐马尔科夫，混合高斯模型等）。但是生成模型学习和计算过程更加复杂。

5.线性模型与非线性模型

如果函数y=f(x)或z=g(x)是线性函数，则称线性模型，否则为非线性模型
线性模型： 感知机、线性支持向量机、K近邻、K均值、潜在语义分析…
非线性模型： 核函数支持向量机、AdaBoost、神经网络…

• 深度学习是复杂的非线性模型学习

6.参数化模型与非参数化模型

参数化模型可以由有限维度参数完全刻画；非参数化模型假设模型参数的维度不固定或者说无穷大，随着数据量的增大不断增大

参数化模型： 感知机、朴素贝叶斯、逻辑回归、K均值、高斯混合模型…
非参数化模型： 决策树、支持向量机、AdaBoost、K近邻、潜在语义分析、概率潜在语义分析、潜在狄利克雷分配…