本文表明，掩码自编码器（MAE）是一种适用于计算机视觉的可扩展自监督学习方法。我们的 MAE 方法非常简单：对输入图像的随机图像块进行掩码，并重建缺失的像素。该方法基于两个核心设计。首先，我们提出了一种非对称的编码器-解码器架构：编码器仅在可见的图像块子集（不包含掩码标记）上进行操作，同时使用一个轻量级解码器，从潜在表示和掩码标记中重建原始图像。其次，我们发现对输入图像进行高比例掩码（例如 75%