将ASIC设计为2D，为了深度学习内的矩阵运算；卷积也可以换成矩阵乘法。FPGA通常是做模拟的，做好后模拟成功进行ASIC留片。深度学习是计算密集型运算，GPU更适合计算密集型运算。四、Systolic Array。这是一种板子，可以进行烧制编程。一个PE里面可以做一个简单运算。一、DSP：数字信号处理。FFT：快速傅里叶变换。二、可编程阵列FPGA。

2、Transformer是由编码器和解码器组成，与基于Bahdanau注意力实现的序列到序列的学习相比，Transformer的编码器和解码器是基于自注意力的模块叠加而成的，源（输入）序列和目标（输出）序列的。6、多头注意力融合了来自于多个注意力汇聚的不同知识，这些知识的不同来源于相同的查询、键和值的不同的子空间表示；在计算编码器的自注意力时，查询、键和值都来自前一个编码器层的输出；1、基于位置

（1）捷径连接（Shortcut Connection）实现了恒等映射（Identity Mapping），也就是说，网络至少可以直接输出输入数据的原始值 𝑥x。6、因为最优点附近梯度为0，拟合得越好，越靠近最优点，梯度越小，相应的最优点附近就越平坦；（2）通过捷径连接，梯度可以直接从输出层反向传播到输入层。3、利用残差块（residual blocks）可以训练出一个有效的深层神经网络：输入可