机器学习主要分为监督学习、无监督学习和强化学习三大类型。监督学习通过"题目+答案"的模式训练模型，包含分类和回归任务；无监督学习则让模型自行发现数据规律，用于聚类和降维等任务。机器学习项目流程包括：明确目标、数据收集、预处理、特征工程、模型训练与调优、评估部署等步骤，其中特征工程最为关键。模型评估需区分验证集（用于调参）和测试集（最终评估），常用交叉验证方法。超参数调优可采用网

线性回归是一种通过线性函数拟合数据以预测连续数值的机器学习方法。其核心公式为ŷ=w₁x₁+b（单变量）或ŷ=wᵀx（多变量）。目标函数常用L2损失（最小二乘法）或L1损失，并可加入L2正则（岭回归）或L1正则（LASSO回归）防止过拟合。优化方法包括解析法（直接计算）和梯度下降法（批量/随机/小批量）。性能指标主要有MSE、RMSE和MAE。特征工程需关注标准化、非线性变换和特征选择。关键超参

建模对象不同判别式：建模 P(Y∣X) → 直接求 “特征→类别” 的映射；生成式：建模 P(X∣Y) 和 P(Y) → 先求 “类别→特征” 的生成规律，再反推类别。训练数据需求不同生成式：对小样本数据更友好，因为概率分布可以通过先验知识补充；判别式：通常需要更多样本，才能学到稳定的决策边界。泛化能力不同生成式：更依赖数据分布假设（比如朴素贝叶斯假设特征独立），假设不成立时性能下降；判别式：不依

SVM是一种经典的二分类模型，其核心思想是寻找使两类样本间隔最大的最优分类超平面。主要特点包括：1）通过最大化几何间隔提高泛化能力；2）引入软间隔和松弛因子处理线性不可分数据；3）使用合页损失函数进行优化；4）通过核方法（如高斯核）解决非线性问题。SVM具有参数仅由支持向量决定、能处理高维数据等优势，但需谨慎选择惩罚系数C和核函数参数。

本文系统介绍了Logistic回归的核心原理与应用。作为分类模型，它通过Sigmoid函数将线性输出转化为概率值，使用交叉熵损失函数进行优化。重点阐述了预测函数构建、目标函数选择（交叉熵优于均方误差）、梯度下降优化等关键环节，并介绍了多分类扩展方法（OVR和Softmax）。文章还详细分析了分类性能指标（准确率、召回率、F1值等）和数据不平衡问题的解决方案。通过理论推导和实例计算，完整呈现了Log

深度学习模型训练的核心是反向传播算法，通过链式求导计算梯度并更新参数。DNN和CNN的反向传播原理相似，但CNN需特殊处理卷积/池化层的梯度计算。激活函数中ReLU因缓解梯度消失成为主流选择。梯度下降存在学习率难调、易陷局部最优等问题。降维方法分为特征选择和特征提取，PCA作为经典线性降维方法通过主成分保留最大方差，但无法处理非线性结构。聚类算法中，K-Means简单高效但需预设k值，GMM支持概

本文系统介绍了神经网络的基础知识：1. 神经元由线性加权和与激活函数组成，Sigmoid、ReLU等激活函数赋予非线性能力；2. 全连接网络通过相邻层全连接实现前向计算，BP算法用于参数优化；3. CNN通过卷积核局部连接和权值共享处理图像，池化层实现降维；4. RNN及其改进模型(LSTM、GRU)处理序列数据，Transformer采用自注意力机制实现并行计算。文章详细阐述了各网络的结构特点、

决策树是一种树形分类/回归模型，通过递归拆分数据集构建判断树，包含根节点、内部节点和叶节点。主要算法包括ID3（信息增益）、C4.5（信息增益比）和CART（基尼指数）。集成学习通过组合多个基模型提升性能：Bagging（如随机森林）通过并行训练降低方差，适用于高方差模型；Boosting（如GBDT）通过串行训练纠正错误降低偏差，适用于高偏差模型。GBDT使用梯度下降思想，用决策树拟合残差逐步优

本文系统介绍了Logistic回归的核心原理与应用。作为分类模型，它通过Sigmoid函数将线性输出转化为概率值，使用交叉熵损失函数进行优化。重点阐述了预测函数构建、目标函数选择（交叉熵优于均方误差）、梯度下降优化等关键环节，并介绍了多分类扩展方法（OVR和Softmax）。文章还详细分析了分类性能指标（准确率、召回率、F1值等）和数据不平衡问题的解决方案。通过理论推导和实例计算，完整呈现了Log

线性回归是一种通过线性函数拟合数据以预测连续数值的机器学习方法。其核心公式为ŷ=w₁x₁+b（单变量）或ŷ=wᵀx（多变量）。目标函数常用L2损失（最小二乘法）或L1损失，并可加入L2正则（岭回归）或L1正则（LASSO回归）防止过拟合。优化方法包括解析法（直接计算）和梯度下降法（批量/随机/小批量）。性能指标主要有MSE、RMSE和MAE。特征工程需关注标准化、非线性变换和特征选择。关键超参