一、Introduction of Meta Learning

1.What is Meta Learning?

元学习(Meta Learning)是指找到产生Function的函数F,给这个函数F输入训练资料,产生可以满足需要的Function。
在这里插入图片描述

2.Meta Learning

1) step1
之前的Component都是人为设定的,而且现在希望这些Component是机器可以自己学出来的。
在这里插入图片描述
2) step2
之前的机器学习中的Loss是通过训练资料学出来的,而Meta Learning的Loss是通过训练任务的测试资料学出来的。
在这里插入图片描述
3) step3
找到最优化的解法使Loss最小。
在这里插入图片描述

3.Goal

机器学习的目标是找到一个Function f,而Meta Learning的目标是找到一个Function F,它是可以找到Function f的方法。
在这里插入图片描述

4.Training Data

机器学习在任务内进行训练,而Meta Learning是跨任务进行学习。
在这里插入图片描述

5.Loss

Machine Learning是通过一个任务学出来的,而Meta Learning是通过大量的任务学出来的。
在这里插入图片描述

二、What is learnable in a learning algorithm?

1.Learning tor initialize

MAML和Reptile这两种方法可以透过一些训练任务找到对训练有帮助的初始化参数。
在这里插入图片描述

2.How to train your MAML

MAML和Pre-training的不同在于MAML要用到有标注的训练资料。
在这里插入图片描述

3.Sample Reweighting

在训练的过程中,给不同的sample不同的weight。
在这里插入图片描述

4.Beyond Gradient Descent

之前的方法都是基于Gradient Descent的,现在有论文证实是可以舍弃掉Gradient Descent的。
在这里插入图片描述

三、Applications

1.Few-shot Image Classification

如下图所示,这是最常用来测试Meta Learning的任务,其中每一个类别都有一些图片,通过训练后,能够辨别一张新图片属于哪一个类别,这种方式也就是N-ways K-shot classification。
在这里插入图片描述

2.Omniglot

Omniglot可以在Meta Learning中准备N-ways K-shot classification用于训练任务和测试任务。
在这里插入图片描述


更多推荐