模型由特征选择、树的生成及剪枝组成，既可以用于分类也可以用于回归。以下将用于分类与回归的树统称为决策树。CART是在给定输入随机变量X条件下输出随机变量Y的条件概率分布的学习方法。CART假设决策树是二叉树，内部结点特征的取值为“是”和“否”​，左分支是取值为“是”的分支，右分支是取值为“否”的分支。这样的决策树等价于递归地二分每个特征，将输入空间即特征空间划分为有限个单元，并在这些单元上确定预测

对于给定数据集D{(xi​yi​i1m​，其中xi​xi1​xi2​...xid​yi​∈R。线性回归的目的是找到一个函数fxwTxb使得线性模型的预测值fx与真实值y尽可能接近。通常选用均方误差来判断其接近程度，即Ef;