前面我们介绍了图像分类，以及深度学习的各种基础知识，包括半监督学习，代码在文件夹里，下一步，我们今天要学习的是深度学习与特征，所谓深度学习，就是玩特征， 

        首先，总结几个常见的概念：有监督学习、无监督学习、半监督学习、分类头

1. 有监督学习：使用带标签的数据训练模型，学习输入到输出的映射关系，用于预测或分类任务。
2. 无监督学习：使用无标签数据，让模型自主发现数据中的内在结构、模式或聚类关系。
3. 半监督学习：结合少量带标签数据和大量无标签数据进行训练，以降低对标注数据的依赖。
4. 分类头：神经网络中负责分类任务的输出层，将特征转换为各类别的概率分布。

        接下来，我们介绍无监督学习，在生活中以及学习中大多数的数据都是没有标签的，无监督方法可以用PCA(主成分分析）进行聚类，把高维的数据转换为二维的，当然这是机器学习的方法，这里不多阐述了，接下来，我们要学习两个深度学习的方法，一个是生成对抗网络（GAN），一个是自监督学习（对比学习和生成式自监督）。

生成对抗网络

        试想一个问题，无监督学习是如何让自己和自己的距离更近的？

        实际上，是让自己预测自己，那么对抗生成网络和这个有什么关系呢？我们拭目以待。

        GAN中有两个重要的组成部分，生成器和判别器

        判别器的能力会越来越强，生成器后面也会随着能力变强，两者相互成长相互促进

生成式自监督

        如果有一个模型，可以把一个照片提取特征，然后还原回来，通过一个编码器和解码器，实现一个自监督的功能，那么这个模型会是一个好的模型，例如MAE模型，就是先把自己的一部分当作学习的目标，最后还原，他和ResNet是一个作者（何凯明）提出的。无监督学习的模型能力是非常强的，它能够通过一张不完整的图片生成完整的图片，也能通过一个灰度图，生成有色彩的图片，从而达到训练模型的效果，再举个例子，自监督可以通过遮盖的文字（MASK），从而进行文字的自监督，这是非常强大的

        那么自监督可以用来干嘛？

看看这个例子，只要进行了无监督预训练，再通过少量的监督数据，这样便能实现一个较为完整的图片分类任务。那么对比学习、GAN、生成式自监督任务，这三个的目标分别是什么呢？

对比学习的目标是学习数据表征，通过拉近相似样本、推远不相似样本，使模型无需标签即可理解数据间的相似与差异。

GAN（生成对抗网络）的目标是生成逼真数据，通过生成器与判别器的对抗训练，使生成器能输出以假乱真的新样本。

生成式自监督任务的目标是学习数据内在结构，通过预测被掩盖或未来的数据部分，使模型掌握数据的组成规律与分布

无监督、对比学习、生成对抗网络、预训练、微调......这是这节课主要的几个名词。很轻松的一节！