机器学习笔记合集深度学习笔记合集定义：MSE=1n∑i=1n(yi−y^i)2\text{MSE} = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2MSE=n1​i=1∑n​(yi​−y^​i​)2定义：MAE=1n∑i=1n∣yi−y^i∣\text{MAE} = \frac{1}{n} \sum_{i=1}^{n} |y_i - \hat{y}_

Elastic Net 是 L1 和 L2 正则化的结合，它同时引入了 L1 和 L2 正则化项，在获得稀疏解的同时，保持一定的平滑性。

本文介绍了机器学习中常见的损失函数和代价函数，包括回归问题和分类问题中的多种损失函数。回归问题中，详细解析了均方误差（MSE）、平均绝对误差（MAE）、对数余弦损失（Log-Cosh）、Huber损失和平均平方对数误差（MSLE）的定义、应用场景及优缺点。分类问题中，介绍了0-1损失、交叉熵损失、合页损失（Hinge Loss）和Focal Loss的定义与适用情况。文章还提供了相关专栏链接，方便

本文介绍了机器学习的特征工程方法，包括特征提取和特征选择两大核心内容。在特征提取部分，详细讲解了手工特征提取（文本、图像、时间序列数据的处理方法）和自动特征提取（CNN、RNN、BERT等深度学习方法）。在特征选择部分，系统分析了过滤法、包裹法和嵌入法三类方法的原理、优缺点及适用场景，并提供了总结表格对比。文章还简要提及了正则化方法和强化学习的概念，为机器学习实践提供了全面的特征处理指导。

算法原理优点缺点适用场景GD梯度下降算法，通过每次使用整个训练集，或者SGD和MGD。计算损失函数相对于模型参数的梯度沿着梯度下降的方向更新参数，以最小化损失函数。理论稳定，易于实现计算成本高，特别是在大数据集上更新缓慢小规模数据集或批量处理场景Momentum在 SGD 基础上增加动量，不仅考虑当前的梯度，还利用过去的梯度积累，加入惯性来加速收敛并减少震荡。提升收敛速度、减少震荡需调节动量系数数

激活函数优点缺点适用场景Sigmoid平滑输出，适合二分类问题梯度消失，非零中心二分类输出层Tanh零中心输出，平滑梯度消失中间层或输出层ReLU计算简单，减轻梯度消失死神经元问题，不对称输出深层网络，特别是卷积神经网络（CNN）Leaky ReLU解决 ReLU 死神经元问题，保持梯度流动不一定总是比 ReLU 更好需要避免死神经元问题的深层网络PReLU可学习的负斜率，灵活性高增加了模型的复杂

方法类别原理常见方法优点缺点适用场景过滤法（Filter Methods）独立于模型，基于统计指标对特征评分，并选择得分较高的特征。- 方差选择法：剔除方差较小的特征- 皮尔森相关系数：选择线性相关性高的特征- 互信息：选择信息增益大的特征计算效率高，易于实现未考虑特征间相互作用，可能遗漏重要的组合特征快速预筛选大量特征的情况，适合初步筛选特征包裹法（Wrapper Methods）通过训练模型评

Elastic Net 是 L1 和 L2 正则化的结合，它同时引入了 L1 和 L2 正则化项，在获得稀疏解的同时，保持一定的平滑性。

损失函数描述应用场景优点缺点均方误差 (MSE)衡量预测值和真实值之间平方误差的平均值，对较大误差进行更大惩罚。线性回归、岭回归等简单易于理解，容易求导。对异常值敏感。平均绝对误差 (MAE)衡量预测值和真实值之间绝对误差的平均值。对异常值不敏感的回归任务对异常值不敏感，反映模型性能更稳定。优化困难，绝对值函数不可导。对数余弦损失 (Log-Cosh)Huber 损失的变体，既能捕捉小误差，也对大

在每个时间步 (ttt遗忘门：根据当前输入和前一个时间步的隐藏状态，控制哪些来自上一个时间步的记忆单元信息需要被保留或遗忘。输入门：根据当前输入和前一时间步的隐藏状态，决定当前输入信息是否更新到记忆单元中，通过候选记忆生成新的信息。记忆单元状态更新：根据遗忘门和输入门的输出，更新当前时间步的记忆单元状态 (CtC_tCt​输出门：根据当前的输入和记忆单元状态，控制当前时间步的隐藏状态 (hth_t