1. 前言

根据学习方式划分：监督学习， 无监督学习， 半监督学习， 强化学习

根据模型架构划分： 线性模型， 决策树， 支持向量机， 贝叶斯模型，聚类模型，神经网络（包括多层感知机， 卷积神经网络CNN, 循环神经网络等），集成方法等

根据生成模式分（自回归相关）：自回归模型 （AR,GPT系列）， 自编码器（无监督），生成对抗（GANs）, 流模型（flow-based models）, 扩散模型

根据任务类型划分：分类模型， 回归模型，聚类模型，降维模型，生成模型

2. 按学习范式划分（最重要的分类）

1. 监督学习 - “老师手把手教”

• 核心思想：给模型提供带标签的答案，让它学习从输入到输出的映射。

• 就像：老师给你看很多苹果和橘子的图片，并告诉你每张图是什么，让你学会区分。

主要模型：

• 线性回归：预测一个连续数值。比如根据房子面积预测房价。

• 逻辑回归：预测一个类别。比如根据考试成绩预测能否及格（是/否）。

• 决策树：通过一系列“如果...那么...”的问题做决策，像流程图一样。

• 支持向量机：找一个最宽的“马路”把不同类别的数据分开。

• 随机森林：很多棵决策树一起投票做决定，“三个臭皮匠，顶个诸葛亮”。

• 神经网络：模拟人脑神经元网络，非常强大，适合复杂问题。

2. 无监督学习 - “自学成才”

• 核心思想：给模型没有标签的数据，让它自己发现数据中的内在结构和模式。

• 就像：给你一堆不同的水果但不告诉你名字，让你自己根据形状、颜色把它们分成几堆。

主要模型：

• K-均值聚类：自动把相似的数据点归到同一个“簇”里。

• 主成分分析：给数据“减肥”，保留最重要的特征，方便可视化或后续处理。

• 自编码器：先压缩数据（学习精髓），再还原数据。用来学习高效的数据表示。

3. 强化学习 - “摸爬滚打自己试”

4. 半监督学习 - “老师教一部分，剩下的自学”

• 核心思想：一个智能体在环境中通过试错来学习。做对了给奖励，做错了给惩罚。

• 就像：训练小狗做动作，做对了给零食，做错了不给。它自己会摸索出怎么做能得到零食。

• 主要模型：

• Q-Learning：学习一个“价值表”，告诉智能体在什么状态下做什么动作最划算。

• 深度Q网络：用神经网络来代替“价值表”，可以处理更复杂的状态（如图像）。

• 核心思想：同时使用少量带标签数据和大量无标签数据进行训练。

• 就像：老师先教你认识几种水果（有标签），然后给你一堆没见过的水果（无标签），让你自己去分类。

• 策略梯度：直接学习一个“行为策略”，告诉智能体该怎么做。

3. 按模型架构/类型划分

1. 线性模型

• 试图用一条直线（或平面）来拟合数据。简单、可解释性强，但处理复杂问题能力有限。

2. 树模型

• 像流程图一样做决策。非常直观，容易理解。

• 代表：决策树、随机森林、XGBoost（竞赛神器）。

3. 神经网络

• 由大量“神经元”相互连接构成的网络，功能强大，是深度学习的基础。

• 卷积神经网络：擅长处理图像，像猫的视觉皮层，能捕捉空间层次结构。

• 循环神经网络：擅长处理序列数据（如文本、语音、时间序列），有“记忆”功能。

• Transformer：当前最火的架构，靠“自注意力机制”并行处理序列，效果极好，是GPT、BERT等模型的核心。

4.  按生成模式划分

这个分类关注模型如何生成输出，特别是生成式模型。

1. 判别式模型

• 关心的问题：“如何区分A和B？”

• 学习内容：直接学习类别之间的边界。

• 就像：学习如何区分猫和狗，只关心它们的不同点。

• 代表：逻辑回归、支持向量机、大多数神经网络分类器。

2. 生成式模型

• 关心的问题：“A长什么样？B长什么样？”

• 学习内容：学习每一类数据本身的分布。学会了之后，它自己就能“画出”一个A或一个B。

• 就像：先学会猫怎么画、狗怎么画，然后你就能自己创造出新的猫狗图片。

• 代表：

  • 生成对抗网络：一个“造假大师”和一个“鉴假专家”互相斗法，共同进步。

  • 变分自编码器：先学会把图片压缩成“灵魂”，再根据“灵魂”还原图片。

  • 扩散模型：当前最火的图像生成模型，先给图片加噪声直到变成一团乱码，再学习如何一步步去噪还原出图片。

  • 自回归模型：

自回归模型：“根据已经生成的内容，来预测下一个内容”，像填空或接龙。

在模型家族中的位置

它首先是一个生成式模型，因为它能生成全新的数据。

它是一种生成数据的策略/方式。

典型代表

循环神经网络：天然是自回归的，因为它处理序列时，当前状态依赖于前一状态。

Transformer的解码器（如GPT系列）：这是当今最著名的自回归模型。

GPT生成文本时，就是典型的自回归：“我” -> “爱” -> “你”。

优缺点（知其所以然）

优：生成内容连贯性强，非常适合序列数据。

它的“亲戚”：非自回归模型

为了克服自回归的缺点，有些模型尝试一次性或并行生成整个序列。

比如：一些图像生成模型，输入一个随机噪声，直接输出一整张图片。

优：生成速度极快。

缺：生成内容的整体一致性和质量有时不如自回归模型。

缺：速度慢：必须一个一个生成，不能并行。

       错误累积：一步错，步步错。