论文标题：

Transfusion: Predict the Next Token and Diffuse Images with One Multi-Modal Model

论文地址：

https://arxiv.org/abs/2408.11039

主页地址：

https://github.com/lucidrains/transfusion-pytorch

a. 利用 VAE encode 和 decode 图像，Linear 换成 U-net

b. 文本做自回归，图像做自编码，利用 transfomer 实现扩散，进行多步生。