迁移学习相关概念

迁移学习与机器学习

但迁移学习和传统机器学习的不同如下：

比较项目	传统机器学习	迁移学习
数据分布	训练和测试数据服从相同的分布	训练和测试数据服从不同的分布
数据标注	需要足够的数据标注来训练模型	不需要足够的数据标注
模型	每个任务分别建模	模型可以在不同任务之间迁移

同时域适应、迁移学习和机器学习关系如上图所示，而域适应问题正式解决的协方差漂移问题，所谓协方差漂移指数据间的条件概率分布不一致。

负迁移

要理解负迁移，首先要理解什么是迁移学习。迁移学习指的是，利用数据和领域之间存
在的相似性关系，把之前学习到的知识，应用于新的未知领域。迁移学习的核心问题是，找
到两个领域的相似性。 找到了这个相似性，就可以合理地利用，从而很好地完成迁移学习任
务。所以，如果这个相似性找的不合理，也就是说，两个领域之间不存在相似性，或者基本
不相似，那么，就会大大损害迁移学习的效果。 这时候，我们可以说出现了负迁移
（Negative Transfer）

负迁移的定义：在源域上学习到的知识，对于目标域上的学习产生负面作用。

产生负迁移的原因主要有两个：

1. 数据问题：源域和目标域压根不相似，谈何迁移？
2. 方法问题：源域和目标域是相似的，但是，迁移学习方法不够好，没找到可迁移的成
   分。

最近的研究成果—传递迁移学习

传统迁移学习只有两个领域足够相似才可以完成，而当两个领域不相似时，传递迁移学习却可以利用处于这两个领域之间的若干领域，将知识传递式的完成迁移

迁移学习分类

按目标域分类

1. 监督迁移学习(Supervised Transfer Learning)
2. 半监督迁移学习(Semi-Supervised Transfer Learning)
3. 无监督迁移学习(Unsupervised Transfer Learning)

按学习方法分类

1. 基于样本的迁移学习方法(Instance based Transfer Learning)：

通过权重重用，对源域和目标域的样例进行迁移。就是说直接对不同的样本赋予不同权重，比如说相似的样本，我就给它高权重，这样我就完成了迁移，非常简单非常非常直接。

2. 基于特征的迁移学习方法(Feature based Transfer Learning)

目前研究最多最热的，意思是说，假设源域和目标域的特征原来不在一个空间，或者说它们在原来那个空间上不相似，那我们就想办法把它们变换到一个空间里面

3. 基于模型的迁移学习方法(Model based Transfer Learning)

Finetune

4. 基于关系的迁移学习方法(Relation based Transfer Learning)

研究较少，主要就是说挖掘和利用关系进行类比迁移。比如老师上课、学生听课就可以类比为公司开会的场景。这个就是一种关系的迁移。

5. 还有几种方法结合起来用的

按特征分类

1. 同构迁移学习(Homogeneous Transfer Learning)
2. 异构迁移学习(Heterogeneous Transfer Learning)

举个例子来说，不同图片的迁移，就可以认为是同构；而图片到文本的迁移，则是异构的。

按离线与在线形式分

1. 离线迁移学习(Offline Transfer Learning)
2. 在线迁移学习(Online Transfer Learning)

基础知识

领域上的数据，我们通常用小写粗体 $\mathbf{x}$ 来表示，它也是向量的表示形式。例如，${\mathbf{x}}_{\mathbf{i}}$ 就
表示第i 个样本或特征。用大写的黑体$\mathbf{X}$ 表示一个领域的数据，这是一种矩阵形式。我们
用大写花体$\mathcal{X}$ 来表示数据的特征空间。

值得注意的是，概率分布P 通常只是一个逻辑上的概念，即我们认为不同领域有不同
的概率分布，却一般不给出（也难以给出）P 的具体形式。

迁移学习的定义需要进行如下的考虑：

(1) 特征空间的异同，即${\mathcal{X}}_s$ 和${\mathcal{X}}_t$ 是否相等。
(2) 类别空间的异同：即${\mathcal{Y}}_s$和${\mathcal{Y}}_s$是否相等。
(3) 条件概率分布的异同：即$Q_s(y_s|x_s)$和$Q_t(y_t|x_t)$是否相等。

迁移学习的核心是，找到源领域和目标领域之间的相似性的。这种相似性也可以理解
为不变量。

有了相似性后，下一步工作就是 如何度量和利用这种相似性

度量的两个目标：
1.定性和定量的找到两个域的相似性
2.以度量为准则，通过我们所要采用的学习手段，增大两个领域之间的相似性，从而完成迁移学习。

简单地说度量就是描述两个域之间的距离和相似性

迁移学习理论支持

详细可看：
A theory of learning from different domains，2010
龙明盛老师的报告