在机器学习领域，监督学习（Supervised Learning）是最基础且应用最广泛的学习范式之一。而监督学习任务主要分为两大类：分类问题（Classification）与回归问题（Regression）。尽管两者都依赖于带有标签的训练数据进行模型学习，但它们的目标、输出形式、评估指标及适用场景存在本质差异。本文将系统性地对比这两类问题，帮助读者深入理解其核心概念与实际应用。

---

一、基本定义

1. 分类问题（Classification）

分类问题的目标是预测离散的类别标签。也就是说，模型需要判断一个输入样本属于哪一类预定义的类别。

• 输出类型：离散值（如“是/否”、“猫/狗/鸟”、“高/中/低风险”）。
• 典型例子：
  • 判断一封邮件是否为垃圾邮件（二分类）；
  • 识别手写数字是0到9中的哪一个（多分类）；
  • 医学影像诊断：判断肿瘤是良性还是恶性。

2. 回归问题（Regression）

回归问题的目标是预测连续的数值。模型需要估计一个实数输出，该输出可以取无限多个可能值。

• 输出类型：连续值（如实数、浮点数）。
• 典型例子：
  • 预测房价（如85.6万元）；
  • 预测明天的气温（如23.4°C）；
  • 估计用户未来一个月的消费金额。

---

二、核心区别

表格

维度	分类问题	回归问题
输出变量类型	离散（类别）	连续（数值）
目标	判别类别归属	预测具体数值
损失函数	交叉熵（Cross-Entropy）、Hinge Loss	均方误差（MSE）、平均绝对误差（MAE）
常用算法	逻辑回归、支持向量机（SVM）、决策树、随机森林、神经网络（带Softmax）	线性回归、岭回归、Lasso、梯度提升树（如XGBoost）、神经网络（无激活或线性输出）
评估指标	准确率、精确率、召回率、F1分数、AUC-ROC	均方误差（MSE）、均方根误差（RMSE）、平均绝对误差（MAE）、R²

📌 注意：虽然“逻辑回归”名字中有“回归”，但它实际上是一种用于二分类的经典算法。

---

三、边界模糊的情况

在某些实际场景中，分类与回归的界限可能变得模糊，此时需根据业务目标灵活选择：

• 有序分类（Ordinal Classification）：如客户满意度评分（1～5星），虽为离散值，但具有顺序意义。可视为分类，也可用回归近似处理。
• 概率输出：分类模型（如逻辑回归）常输出属于某类的概率（如0.87），这个概率本身是连续值，但最终决策仍基于阈值（如>0.5判为正类）。
• 分箱回归（Binning）：将连续目标变量划分为若干区间，转化为多分类问题（例如将房价分为“低/中/高”三档）。

---

四、如何选择？

在面对一个新问题时，可通过以下问题判断应使用分类还是回归：

1. 你的目标变量是类别还是数值？
   • 如果是“是什么类型” → 分类；
   • 如果是“是多少” → 回归。
2. 业务是否关心具体数值大小？
   • 若只需判断类别（如是否违约），用分类；
   • 若需精确预测金额、时间、温度等，用回归。
3. 数据标签的性质是什么？
   • 标签为字符串或整数编码的有限集合 → 分类；
   • 标签为实数（含小数）→ 回归。

---

五、总结

分类与回归是监督学习的两大支柱，理解它们的区别不仅有助于正确建模，还能避免因任务误判而导致的性能低下。在实际项目中，清晰定义问题类型是成功的第一步。随着深度学习的发展，许多模型（如神经网络）可通过调整输出层和损失函数灵活应对两类任务，但背后的数学原理和评估逻辑依然遵循上述基本原则。

掌握分类与回归的本质，是迈向高级机器学习应用（如目标检测、时间序列预测、推荐系统等）的重要基石。