参考资料https://dl.acm.org/ft_gateway.cfm?id=335388&ftid=2057&dwn=1&CFID=51876766&CFTOKEN=b2427295e6580441-94D5C0E4-E786-FC7

机器学习算法最终总是能转化为最优化问题，习惯上会转化为最小化问题。个人总结迭代优化算法关键就两点：(1) 找到下降方向(2) 确定下降步长最速梯度下降算法梯度下降算法是以最优化函数的梯度为下降方向，学习率ηη\eta乘以梯度的模即为下降步长。更新公式如下：xk+1=xk−η∗gkxk+1=xk−η∗gkx_{k+1}=x_k-\eta*g_k其中gkgkg_k为梯度。...

        最早是在《数据处理与优化算法》课堂上接触到数据挖掘（Data Mining），接着自学Pang-Ning Tan et al.的《数据挖掘导论》入门数据挖掘。所以我先讲一下数据挖掘、机器学习(Machine Learning)和统计学(Statistics)的关系。个人理解是传统统计学往往是更加偏向于纯粹的数学，偏向于理论。机器学习偏向于数学与计算机的交叉，统计的理论往往需要通过机