logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Transformer 入门:从 RNN 到 GPT 生成,6 个问题全部手算

想弄懂 Transformer 和 Self-Attention,很多教程先讲架构图和公式,读完能复述,但合上页面推不出来。这篇换个顺序:先抛一个问题,用一个最小的数字例子算一遍,再看为什么会需要下一个机制。内容来自我做的一套 34 课大模型课程的第 1 课,一共 6 个问题,从 RNN 的问题一路走到 GPT 逐字生成。

#transformer#rnn
到底了