感觉理论学的太多了，该做点实践操作一下了在我们之前学习的基于概率的模型中，进行预测时会涉及三类变量集合：需要推断的目标变量集合 YYY、可观测到的变量集合 OOO，以及其他相关变量集合 RRR。无论模型采用生成式形式 P(Y,R,O)P(Y,R,O)P(Y,R,O) 还是判别式形式 P(Y,R∣O)P(Y,R|O)P(Y,R∣O)，最终都需要得到我们关心的条件概率分布 P(Y∣O)P(Y|O)P(

我们希望从图中学习到一个映射函数。

上半部分在上一篇上一节我们讨论了有限假设空间的情况，现在将假设空间扩展到无限维的情形。考虑一个最简单的二分类任务，通常使用超平面将样本空间划分为两部分，每个超平面对应一个假设hhh。这样的假设有多少个呢？显然存在无限多个，即∣H∣=∞|\mathcal{H}|=\infty∣H∣=∞。根据上一节的推导公式（无论是否可分），这意味着需要无限多的训练样本，但这与实际情况不符。因此可以得出结论：对于无限

……说我字数太多，分两部分本章比较理论，主要说的是凭什么相信机器学习，他为什么能给出一个好的结果：本质是研究泛化误差问题我们先假设有一个样本集D={(x1,y1),…,(xm,ym)}D =\{(x_{1},y_{1}),\dots,(x_{m},y_{m})\}D={(x1​,y1​),…,(xm​,ym​)}，其中所有样本都是独立同分布地从分布D\mathcal{D}D中采样得到的。这里每个x

感觉看的越来越水，有点想快点到深度学习了在上一章的讨论中，我们探讨了通过数学变换实现数据降维的方法。然而，降维其实还存在一种更为直接的方式，那就是简单地舍弃部分数据维度（即属性）。这个想法初看可能显得不太合理，但经过仔细思考就会发现其实际可行性：在现实世界的数据采集中，我们获得的样本属性通常存在以下两个典型问题：在特征选择过程中，当缺乏领域知识时，我们需要考虑所有可能的特征子集，然而这是不可行的。

本节是支持向量机，想起我室友当初毕设就和这个有关。

集成学习是一种通过结合多个学习器来提升模型性能的方法，主要分为同质集成和异质集成。同质集成使用同一种算法生成基学习器，而异质集成则使用多种算法生成组件学习器。集成学习的关键在于个体学习器的高精度和差异性，以扬长避短。集成学习方法可分为Boosting和Bagging两大类。Boosting通过迭代训练，逐步提升弱学习器为强学习器，典型代表是AdaBoost。Bagging和随机森林则通过并行生成多