ESM蛋白质语言模型学习笔记二、内容概述三、内容梳理（一）ESM-1b模型（二）MSA Transformer模型（三）ESM-1v模型

一. Transformer诞生背景Transformer模型是解决序列转录问题的一大创新。在Transformer模型之前，序列转录模型都或多或少的基于复杂的循环或卷积神经网络。循环神经网络的计算是时序性的，位置的计算必须基于之前所有位置的计算结果，因此循环神经网络上的计算难以并行，效率较低。而且在翻译长句时，循环或卷积神经网络对之前文本的“记忆”是有限的，采用时序计算很可能丢掉之前的重要信息。

ESM蛋白质语言模型学习笔记二、内容概述三、内容梳理（一）ESM-1b模型（二）MSA Transformer模型（三）ESM-1v模型