一般来说，损失函数具有线性可加性。设我们有数据集D{(xi​yi​i1n​，估计模型F，损失函数L，那么Ly1​yn​;Fx1​Fxn​))i1∑n​Lyi​Fxi​))直观的，损失函数在数据集的损失等于损失函数在数据集的所有样本之和。理解可加性对于理解基于梯度的boosting方法至关重要。下面给出两种常见的损失函数，请读者自行验证其具有可加性。

特别的，Balanced Bootstrap又在每次抽样改变了数据的类别分布，损失函数又随类别分布的改变而改变。对于某些机器学习模型，这样做可以减少模型将少数类样本误分类为多数类样本的机会。简单来说，Balanced Bootstrap方法就是在按照类别抽样的Bootstrap方法的基础上对多数类数据集的有放回抽样个数进行修改，从。一般的，Bootstrap方法是选择数据集的子集。总的来说，Bal