今天聊聊机器学习(Machine Learning)里面的回归算法,常见的回归算法有:线性回归(Linear Regression),岭回归(Ridge Regression),Lasso回归(Lasso Regression),决策树回归(Dicision Tree Regression),随机森林回归(Random Forest Regression),梯度提升树(Gradient Bosting),支持向量回归(SVR)等,这里重点介绍一下线性回归(Linear Regression),其他算法都是基于这个基础上衍生的.线性回归(Linear Regression)是一种回归任务的监督学习算法,建立连续性目标值与一个或多个特征之间的线性关系(线性关系就是研究的对象之间是"直线"关系).线性回归模型是用在有明显线性关系的对象之间.根据特征与标签之间的关系,建立回归模型,根据模型的预测值与真实值之间的差值形成了残差,度量残差的大小就有了损失函数,常见三种损失函数:最小二乘法:残差平方和,也是应用最多的.均方误差:误差平方和取平均值,平均绝对误差:误差的绝对值和取平均值.很明显损失函数越小,模型就拟合得越好,优化方法:求方程法(求导,求偏导),梯度下降法(利用梯度逐步逼近最优解)