集成学习不是一个单独的机器学习算法，而是通过在数据上构建多个模型，集成所有模型的建模结果，基本上现在的所有机器学习都能看到集成学习的身影。

未完待续。

在构建完模型后，通过一下几种步骤进行模型优化训练过程。

使用encoder-only的模型主要的思路是通过编码器，将大量文本、时序数据等资料进行编码、压缩，达到进一步抽象理解输入数据的能力。encoder-only更加侧重于对信息的压缩与分类，在对输入内容进行扩展的情况下效果不佳。相比较而言，decoder-only需要的计算资源更少，能够更快学习和训练得到最终的模型。使用decoder-only的模型主要是通过解码器，对已输入的信息进行解码衍生。基于

决策树是一个预测模型，它代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象，而每个分叉路径则代表某个可能的属性值，而每个叶节点则对应从根节点到该叶节点所经历的路径所表示的对象的值。

在许多分类算法应用中，特征和标签之间的关系并非是决定性的。比如说，我们想预测一个人究竟是否会在泰坦尼克号海难中生存下来，那我们可以建一棵决策树来学习我们的训练集。在训练中，其中一个人的特征为：30岁，男，普通舱，他最后在泰坦尼克号海难中去世了。当我们测试的时候，我们发现有另一个人的特征也为：30岁，男，普通舱。基于在训练集中的学习，我们的决策树必然会给这个人打上标签：去世。然而这个人的真实情况一定

SigmoidSigmoidSigmoid# 初始化权重和偏置# 梯度下降。

与分类、回归任务不同，聚类任务事先并不知道任何样本标签，通过数据之间的内在关系把样本划分为若干类别，使得同类别之间的相似度高，不同类别之间的样本相似度低。K-means算法的基本思想是，通过迭代寻找K个簇（Clusterd）的一种划分方案，使得聚类结果对应的损失函数最小。K-means的核心目标是将数据集划分为K个簇，并给出的每个簇的中心点。其中Xi代表第i个样本，Ci是Xi所属的簇，U代表簇对应

从单层到多层是神经网络发展史上的重大变化，层的增加彻底将神经网络的性能提升到了另一个高度，正确理解层的意义对于我们自主构建神经网络有很重要的作用，学会利用层是避免浪费计算资源以及提升神经网络效果的关键。

在训练时，使用没有标签的数据集进行训练，希望在没有标签的数据里面可以发现潜在的一些结构。其中使用范围较广的是，聚类算法。聚类算法的目的是将数据划分成有意义或有用的组（或簇）。这种划分可以基于我们的业务需求或建模需求来完成，也可以单纯地帮助我们探索数据的自然结构和分布。比如在商业中，如果我们手头有大量 的当前和潜在客户的信息，我们可以使用聚类将客户划分为若干组，以便进一步分析和开展营销活动，最有名的