本文介绍了统计机器学习中的岭回归和感知机方法。岭回归通过引入L2范数惩罚项解决了线性回归中多重共线性导致的矩阵不可逆问题，推导了其闭式解。感知机则是一种线性分类器，通过定义误分类点距离损失函数，并采用随机梯度下降进行优化。文章详细阐述了两种方法的数学原理、损失函数设计及优化过程，特别强调了岭回归中惩罚参数λ的作用和感知机中损失函数的推导思路。

本文介绍了LASSO方法在高维小样本数据中的变量选择应用。文章首先阐述了高维小样本问题的背景和线性回归系数的解释意义，指出变量选择需要通过压缩不重要特征的系数来实现。针对直接阈值法的不足，既保证稀疏性又避免组合爆炸的计算复杂度。重点分析了正交设计下 LASSO 的解析解推导过程，得出软阈值解公式，并展示其几何意义——L1约束的顶点与椭圆等高线相切时产生稀疏解。