机器学习主要类型（三）：半监督学习 Semi-Supervised Learning让学习器不依赖外界交互、自动地利用未标记样本来提升学习性能未标记样本虽未直接包含标记信息，但若它们与有标记样本是从同样的数据源独立同分布采样而来，则它们所包含的关于数据分布的信息对建立模型将大有裨益半监督学习可进一步划分为纯（pure）半监督学习和直推学习 （transductive learning），前者假定训

前十章总结_思维导图1、模型评估与选择_计算学习理论_特征选择2、决策树_贝叶斯分类器_概率图模型3、降维与度量学习_集成学习4、规则学习_ _ _ _ _ _ 机器学习基础系列文章更新完毕，喜欢的朋友可以关注后续“机器学习主要类型”系列文章_ _ _ _ _ _机器学习基础系列文章回顾：机器学习基础（一）：简介机器学习基础（二）：模型评估与选择机器学习基础（三）：决策树机器学习基础（四）：特征选

9、集成学习 ensemble learning通过构建并结合多个学习器来完成学习任务，有时也称为多分类器系统multi-classifier system、基于委员会的学习committee-based learning同质homogeneous集成：集成中只包含同种类型的个体学习器，其中的个体学习器亦称基学习器，相应的学习算法称为基学习算法异质heterogeneous集成：包含不同类型的个体

10、规则学习 rule learning从训练数据中学习出一组能用于对未见示例进行判别的规则优势：①与神经网络、支持向量机这样的黑箱模型相比，规则学习具有更好的可解释性，使用户更直观地对判别过程有所了解②数理逻辑有极强的表达能力，绝大多数人类知识都能通过数理逻辑进行简洁的刻画和表达，因此规则学习能更自然地在学习过程中引入领域知识③逻辑规则的抽象描述能力在处理一些高度复杂的AI任务时具有显著的优势

linux上安装wxpython报错：查资料发现windows或者mac就可以用上面的pip install -U wxPythonlinux需要用另一种pip方法：pip install -U -f https://extras.wxpython.org/wxPython4/extras/linux/gtk3/ubuntu-16.04 wxPython！！！如果还是报错的话，就用下面的方法：1、

flatten()：压缩维度；transpose()：转置（两个维度）；permute()：按照指定维度排列进行转置（多个维度）

8、降维与度量学习8.1 k近邻k-Nearest Neighbor(KNN)学习常用的监督学习方法，“懒惰学习lazy learning”的代表给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个邻居的信息来进行预测通常分类任务中使用“投票法（选择这k个样本中出现最多的类别标记作为预测结果）”，回归任务中使用“平均法”，还可基于距离远近进行加权平均或加权投票，距离越

10、规则学习 rule learning从训练数据中学习出一组能用于对未见示例进行判别的规则优势：①与神经网络、支持向量机这样的黑箱模型相比，规则学习具有更好的可解释性，使用户更直观地对判别过程有所了解②数理逻辑有极强的表达能力，绝大多数人类知识都能通过数理逻辑进行简洁的刻画和表达，因此规则学习能更自然地在学习过程中引入领域知识③逻辑规则的抽象描述能力在处理一些高度复杂的AI任务时具有显著的优势

机器学习主要类型（二）：无监督学习 Unsupervised Learning2.1 无监督特征学习 Unsupervised Feature Learning一般用来进行降维、数据可视化或监督学习前期的数据预处理2.1.1主成分分析2.1.2稀疏编码2.1.3自编码器2.1.4稀疏自编码器 Sparse Auto-Encoder假设中间隐藏层z的维度M大于输入样本x的维度D，并让z尽量稀疏，这就

5、计算学习理论计算学习理论computational learning theory：研究关于机器学习的基础理论几个常用不等式：5.1 PAC学习概率近似正确（PAC）Probably Approximately Correct：最基本的计算学习理论——以较大的概率学得误差满足预设上限的模型，PAC 学习给出了一个抽象地刻画机器学习能力的框架若目标概念c∈H，则H中存在假设能将所有示例按与真实标