一、决策树概述决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。决策树是一个预测模型，代表的是对象属性与对象值之间的一种映射关系。最初的节点称为根节点（如图中的"颜色"），有分支的节点称为中间节点（如图中的"价格"），无分支的节点称为叶

一、一元线性回归一元线性回归模型也称为简单线性回归模型，模型中只含有一个自变量，数学表达式y=a+bx+εy=a+bx+\varepsilony=a+bx+ε其中a、b为回归系数，ε\varepsilonε为模型的误差项。要得到理想的拟合线，则要使误差ε\varepsilonε总体上最小，于是转换成了误差平方和最小的问题，此方法就是“最小二乘法”。推导过程：\begin{align}J(a...

Logistic回归是一种广义线性回归模型，解决的是因变量为二分类变量的预测或判别问题。

在线性回归模型中，其参数估计公式为$\beta=(X^TX)^{-1}X^Ty$，当$X^TX$不可逆时无法求出$\beta$，另外如果$|X^TX|$越趋近于0，会使得回归系数趋向于无穷大，此时得到的回归系数是无意义的。解决这类问题可以使用岭回归和LASSO回归，主要针对==自变量之间存在多重共线性==或者==自变量个数多于样本量==的情况。

在线性回归模型中，其参数估计公式为$\beta=(X^TX)^{-1}X^Ty$，当$X^TX$不可逆时无法求出$\beta$，另外如果$|X^TX|$越趋近于0，会使得回归系数趋向于无穷大，此时得到的回归系数是无意义的。解决这类问题可以使用岭回归和LASSO回归，主要针对==自变量之间存在多重共线性==或者==自变量个数多于样本量==的情况。