摘要：支持向量机(SVM)是一种监督学习算法，通过寻找最优超平面实现分类，目标是最大化分类间隔。其核心概念包括：最优超平面作为决策边界；支持向量是影响超平面位置的关键数据点；间隔最大化提升泛化能力，可分为硬间隔和软间隔。SVM通过核函数将非线性问题转换为高维空间的线性问题，有效处理线性不可分数据和结构化数据。

机器学习笔记

本文摘要：模型评估与选择涉及错误率、精度、误差（训练误差和泛化误差）等基本概念，以及欠拟合和过拟合问题。评估方法包括留出法（一次性划分）、交叉验证法（K轮划分）和自助法（有放回抽样），各有适用场景。性能度量涵盖回归任务的均方误差和分类任务的查准率、查全率、F1、ROC曲线及AUC。比较检验方法如假设检验、交叉验证t检验和McNemar检验用于判断模型差异。不同场景下需选择合适的评估和检验方法，如大

本文介绍了线性模型中的线性回归及其相关概念。主要内容包括：线性回归的定义和公式（一元与多元），损失函数的分类（均方误差、平均绝对误差）及减小误差的方法（正规方程法、梯度下降法）。重点阐述了梯度下降法的原理、学习率步长的影响及不同梯度下降算法类型（FGD、mini-batch、SAG、SGD）。最后讨论了欠拟合与过拟合的产生原因及解决方案：欠拟合可通过增加特征或多项式特征解决，过拟合则需清洗数据、增

决策树是一种基于树形结构的分类模型，通过特征选择、树生成和剪枝三个步骤构建。核心概念包括信息熵（衡量数据不确定性）、信息增益（ID3算法）和信息增益率（C4.5算法改进）。CART决策树可同时处理分类（基尼指数最小化）和回归（平方误差最小化）问题。为防止过拟合，采用预剪枝（提前停止生长）和后剪枝（生成后修剪）两种正则化方法。不同算法在特征选择标准上有所差异：ID3使用信息增益，C4.5使用增益率，

本文概述了特征工程的核心内容，包括特征选择、特征转换、特征构造和特征降维四大方面。特征选择通过过滤法、包裹法和嵌入法筛选相关特征；特征转换涉及归一化、标准化、对数变换和类别编码等技术；特征构造通过交互特征、统计特征和时间特征等方法创造新特征；特征降维则采用PCA、LDA、t-SNE和自编码器减少维度。这些技术共同提升模型性能，降低复杂度，防止过拟合。特征工程需要结合具体问题和领域知识进行迭代优化。

KNN算法是一种基于距离度量的监督学习方法，通过计算待测样本与训练集样本的距离，选取最近的K个样本进行投票（分类）或取平均（回归）。其关键参数包括距离度量方法（如欧氏距离）和K值选择，K值过小易过拟合，过大则欠拟合。算法简单直观但计算量大，且对噪声敏感。数据预处理中，归一化可消除量纲差异加速收敛，标准化则调整数据为标准分布增强鲁棒性，两者都能提升模型性能但适用场景不同。KNN适用于小规模数据集，需

摘要 聚类是一种无监督学习方法，通过相似性度量将数据样本分组，实现“物以类聚”。常见算法包括： K均值聚类：基于距离划分K个簇，需预设簇数，对初始中心敏感； 层次聚类：通过聚合或分裂构建层次化簇结构； 密度聚类：基于样本紧密程度识别任意形状簇，可过滤噪声。 评估指标如轮廓系数、簇内平方和等衡量簇内紧密度与簇间分离性。降维方法如奇异值分解（SVD）和主成分分析（PCA）通过保留关键信息减少数据维度。

较低的层级通常捕捉到简单的特征(如边缘、颜色等)，而更高的层级则可以识别更复杂的模式(如物体或面部识别)Transformer摒弃了传统的递归结构，采用自注意力机制(self-attention)，使得它能够并行处理整个句子的信息，在机器翻译、文本摘要等任务中表现出色。深度学习是机器学习的一个子集，也就是说深深度学习是机器学习中一种基于对数据进行特征学习的算法。电影、音乐推荐:根据用户历史的评分和

本文概述了特征工程的核心内容，包括特征选择、特征转换、特征构造和特征降维四大方面。特征选择通过过滤法、包裹法和嵌入法筛选相关特征；特征转换涉及归一化、标准化、对数变换和类别编码等技术；特征构造通过交互特征、统计特征和时间特征等方法创造新特征；特征降维则采用PCA、LDA、t-SNE和自编码器减少维度。这些技术共同提升模型性能，降低复杂度，防止过拟合。特征工程需要结合具体问题和领域知识进行迭代优化。