慢慢来，会更好！大家好，我是一个想研究又不会研究的研究生陪伴大家一起学习成长！self-supervised与芝麻街人物有着密切联系李宏毅老师讲这堂课的时候还穿着芝麻街的T恤（respect）你可能以为Bert足够大了但是 see next接下来，我们将学习BERT和GPT series从而知道self-supervised model做的事情是什么...

慢慢来，会更好！大家好，我是一个想研究又不会研究的研究生陪伴大家一起学习成长！那么，为什么我们要先做BERT工作呢？越相近的字产生的向量越接近，如果与草、鸟与鱼等同时，BERT会根据上下文，不同语义的同一个字会产生不同的向量看看下图的例子，同一个果字对应的向量会不一样有两堆苹果一堆是吃的苹果（5个）一堆是苹果模型（5个）那么我们就可以发现，前5个果相似度高，前5个跟后5个相似度就低所以，BERT输