李宏毅机器学习笔记第19周_元学习(Meta Learning)
Meta Learning
文章目录
一、Introduction of Meta Learning
1.What is Meta Learning?
元学习(Meta Learning)是指找到产生Function的函数F,给这个函数F输入训练资料,产生可以满足需要的Function。
2.Meta Learning
1) step1
之前的Component都是人为设定的,而且现在希望这些Component是机器可以自己学出来的。
2) step2
之前的机器学习中的Loss是通过训练资料学出来的,而Meta Learning的Loss是通过训练任务的测试资料学出来的。
3) step3
找到最优化的解法使Loss最小。
3.Goal
机器学习的目标是找到一个Function f,而Meta Learning的目标是找到一个Function F,它是可以找到Function f的方法。
4.Training Data
机器学习在任务内进行训练,而Meta Learning是跨任务进行学习。
5.Loss
Machine Learning是通过一个任务学出来的,而Meta Learning是通过大量的任务学出来的。
二、What is learnable in a learning algorithm?
1.Learning tor initialize
MAML和Reptile这两种方法可以透过一些训练任务找到对训练有帮助的初始化参数。
2.How to train your MAML
MAML和Pre-training的不同在于MAML要用到有标注的训练资料。
3.Sample Reweighting
在训练的过程中,给不同的sample不同的weight。
4.Beyond Gradient Descent
之前的方法都是基于Gradient Descent的,现在有论文证实是可以舍弃掉Gradient Descent的。
三、Applications
1.Few-shot Image Classification
如下图所示,这是最常用来测试Meta Learning的任务,其中每一个类别都有一些图片,通过训练后,能够辨别一张新图片属于哪一个类别,这种方式也就是N-ways K-shot classification。
2.Omniglot
Omniglot可以在Meta Learning中准备N-ways K-shot classification用于训练任务和测试任务。
更多推荐
所有评论(0)