K 近邻算法（K-Nearest Neighbors，KNN）是一种基本的分类与回归方法，属于监督学习算法。其核心思想是通过计算给定样本与数据集中所有样本的距离，找到距离最近的 K个样本，然后根据这 K 个样本的类别或值来预测当前样本的类别或值。

线性回归是机器学习中最基础、最常用的算法之一，核心作用是 “建模变量间的线性关系”，比如用广告投入预测销售额、用学习时长预测考试成绩。它原理简单、可解释性强，是解决回归类问题的 “入门首选”，工作中掌握这一章的核心内容，能应对 80% 的连续值预测场景。

PyTorch中已经实现了神经网络中可能用到的各种激活函数，我们在代码中只要直接调用即可。至于激活函数的基本公式和原理查看相关历史文章。

机器学习的方法种类繁多，并不存在一个统一的理论体系能够涵盖所有内容。

建模流程是 “骨架”，保证步骤不出错；特征工程是 “血肉”，决定模型效果。新手不用一开始就追求复杂模型，把数据清洗和特征选择做好，往往能得到超出预期的结果。

L1正则化：删特征，适合“特征多、噪音多”的场景；L2正则化：缩系数，适合“特征都有用、怕过拟合”的场景；弹性网：两者结合，适合“特征多且高度相关”的场景。正则化的核心逻辑很简单：通过“惩罚”模型的复杂程度，逼着模型学习数据的核心规律，而不是死记硬背噪音。记住3个核心方法的适用场景，再结合实战技巧，就能轻松用正则化提升模型的泛化能力。如果你的项目中遇到了过拟合问题，不妨试着用今天的代码和思路调一调

交叉验证的核心价值，是帮我们客观判断模型的真实能力。实际工作中，选对方法是关键：普通分类/回归（数据均匀）：用普通K折；不平衡分类（某类样本少）：用分层K折；时序预测（有时间顺序）：用时间序列交叉验证；数据极少（样本<100）：用留一法。不泄露信息、测试集只做最终评估。按本文的流程和避坑指南操作，就能让交叉验证真正帮你选对模型、调好参数，确保上线后性能稳定。

逻辑回归的核心是 “线性得分 + 概率映射”，工作中记住 3 点：① 预处理必须做特征缩放和编码；② 用精确率 / 召回率 / F1 评估（别只看准确率）；③ 类别不平衡用调整。它是入门分类算法的 “基石”，也是面试和业务落地中最常被问到、用到的算法之一，一定要吃透！

朴素贝叶斯是「轻量快消型」算法，核心用在文本分类、简单预测、原型验证，不用调参、数据量少也能用，适合程序员快速落地需求；记住它的“简单”既是优点（快、省资源），也是缺点（精度一般、不适合复杂场景），根据需求选对场景，就能发挥它的价值——不用纠结理论，会调用库、会处理特征、会避坑，就够工作用了。

决策树是「if-else逻辑化」的算法，核心用在分类、简单回归场景，优势是直观、可解释、不用复杂特征处理，适合需要“看懂模型逻辑”的需求；记住调参重点（max_depth）、避开过拟合和异常值的坑，单棵树适合快速验证思路，升级款（随机森林、XGBoost）适合落地正式需求——和朴素贝叶斯相比，它更灵活、适用范围更广，但需要多调一个关键参数。