print(f"\n前3个主成分累计解释方差: {sum(pca.explained_variance_ratio_[:3])*100:.2f}%")print(f"\n2. SelectKBest选择的特征: {selected_features}")print(f"多项式特征数: {X_poly.shape[1]}")print(f"原始特征数: {X.shape[1]}")print("\n

摘要：数据预处理是机器学习项目中的关键步骤，主要包括缺失值处理、异常值检测、数据标准化和类别编码。缺失值可通过删除、均值/中位数填充或KNN插补处理；异常值检测常用Z-score和IQR方法；数据标准化可消除量纲差异；类别特征可采用标签编码或独热编码。高质量的数据预处理能显著提升模型性能，遵循"Garbage In, Garbage Out"原则。

摘要：最优化理论是机器学习的数学基础，其核心是通过最小化损失函数来寻找最佳模型参数。本文系统介绍了梯度下降法及其变种，包括标准梯度下降、随机梯度下降(SGD)、动量法和Adam优化器。重点分析了学习率对收敛速度的影响，并通过代码示例展示了不同优化算法在函数优化和线性回归任务中的表现。实验表明，Adam优化器结合了动量和自适应学习率的优点，在深度学习中表现优异。文章还探讨了批量大小选择、振荡问题等实

概率论与统计是人工智能的重要数学基础，涵盖贝叶斯定理、常见概率分布和统计推断等核心内容。文章系统介绍了概率的基本概念、条件概率、正态分布等概率分布特性，以及参数估计、假设检验等统计方法，并配以Python代码示例演示实际应用。这些数学工具为理解AI模型的不确定性、数据分析和决策提供了理论支撑，是机器学习和大语言模型等技术的底层逻辑。掌握概率统计知识对AI研究和应用具有关键意义。