首先，spyder4.x比较spyder3.x强大很多了，ui等各方面也很多。这篇文章以我平时最常用的spyder4.1.2、4.1.5为例，分享一些使用spyder4.0使用和调试过程中的一些心得。本文分为两个部分：第一部分，介绍spyder4的强大功能。第二部分，介绍spyder4的调试功能。熟悉使用spyder写代码和运行程序的朋友可以直接跳过第一部分，直接看第二部分。第一部分，spyder

原始bert，LayerNorm + multiHeadAttention + dropout + FFN + dropout + x+ FFN：其中x来自第一次FFN之后hidden_states = self.dropout_add(feedforward_output, residual) # x在这。