本次学习了李宏毅老师深度学习课程中的半监督学习内容。传统监督学习极度依赖大量带标签样本，但在真实场景中标注成本极高，无标签数据数量极其庞大。半监督学习的核心目标就是利用少量有标签数据搭配大量无标签数据共同训练模型，在几乎零成本的情况下提升模型泛化能力，是现代深度学习非常重要的学习范式。

一、半监督学习基本定义

设数据集分为两部分：

1.有标签数据集：

2.无标签数据集：

其中满足 U>>R 监督学习仅使用 R 条数据，而半监督学习同时利用 R 条标注数据和 U 条无标注数据优化模型。

二、半监督学习的两大核心假设

半监督学习之所以有效，完全依赖两个基础假设：

1. 平滑假设

若两个样本 X1 X2 在特征空间距离相近，则对应的输出 Y1 Y2大概率相同。 公式表达样本相似度：

基于该假设，无标签样本可以根据周边标注样本的类别完成推理

2. 低密度分隔假设

分类边界会落在数据概率密度极低的区域

同类样本聚集在高密度区域，让模型能够利用全局数据分布画出更合理的决策边界。

三、自训练（Self-training）原理与公式

用有标签数据最小化损失：

对无标签数据预测伪标签：

筛选高置信度样本，加入训练集，整体损失变为：

优缺点

优点：结构简单、可直接落地、无需更改网络结构。 缺点：初始模型不准时，会产生错误伪标签累积，模型偏差会越来越大。

四、生成式半监督学习（EM 算法）

1. 仅有标签数据的极大似然

2. 加入无标签数据后

无标签数据的对数似然为边缘概率：

整体目标函数：

该式无法直接求解，因此使用 EM 算法迭代优化：

E 步：估计无标签数据的后验分布

M 步：最大化整体似然更新参数

五、直推学习与归纳学习

1.直推学习：只对当前已知无标签数据预测，不学习通用模型，无法泛化新数据。

2.归纳学习：利用无标签数据更新通用模型参数,可泛化任意新样本，是深度学习主流方式。