1、在NLP中的迁移学习中，使用预训练好的模型抽取词、句子的特征，不更新预训练好的模型，而是在需要构建新的网络来抓取新任务需要的信息，也就是最后面加上一个MLP做分类；在这个预训练任务中，将随机选择15%的词元作为预测的掩蔽词元，用一个特殊的“<mask>”替换输入序列中的词元。2、由于基于微调的NLP模型，也想要一个类似的东西，使预训练的模型抽取了足够多的信息，新任务只需要一个简单的输出层。#

1、与目标检测不同，语义分割可以识别并理解图像中每一个像素的内容：其语义区域的标注和预测是像素级的。1、语义分割通过将图像划分为属于不同语义类别的区域，来识别并理解图像中像素级别的内容。1、读取所有VOC图像并标注：因为这个数据集的自己的格式是voc。"""将VOC标签中的RGB值映射到它们的类别索引""""""一个用于加载VOC数据集的自定义数据集""""""构建从RGB到VOC类别索引的映射"

2、对于序列级和词元级自然语言处理应用，BERT只需要最小的架构改变（增加需要训练的输出层），如单个文本分类（例如，情感分析和测试语言可接受性）、文本对分类或回归（例如，自然语言推断和语义文本相似性）、文本标记（例如，词性标记）和问答。#对前提和假设进行截断，使其总长度不超过 max_len - 3，为 BERT 的特殊词元 <CLS> 和 <SEP> 保留位置。我们只拿回答的那部分句子进行提取特

选择了一个批次中的前10张图像，执行了维度置换操作，将图像的维度从PyTorch的默认格式 (batch_size, channels, height, width) 调整为 (batch_size, height, width, channels)# 这里的target包含（类别，左上角x，左上角y，右下角x，右下角y），（2）边界框中心的(𝑥,𝑦)轴坐标以及框的宽度和高度。"""从（左上，

指定了额外的特定词元， 例如在小批量时用于将序列填充到相同长度的填充词元（“<pad>”）， 以及序列的开始词元（“<bos>”）和结束词元（“<eos>”）数据集中的每一行都是制表符分隔的文本序列对， 序列对由英文文本序列和翻译后的法语文本序列组成。3、通过截断和填充文本序列，可以保证所有的文本序列都具有相同的长度，以便以小批量的方式加载。1、截断或填充文本序列（文本序列具有相同的长度，便于以相

将ASIC设计为2D，为了深度学习内的矩阵运算；卷积也可以换成矩阵乘法。FPGA通常是做模拟的，做好后模拟成功进行ASIC留片。深度学习是计算密集型运算，GPU更适合计算密集型运算。四、Systolic Array。这是一种板子，可以进行烧制编程。一个PE里面可以做一个简单运算。一、DSP：数字信号处理。FFT：快速傅里叶变换。二、可编程阵列FPGA。

2、Transformer是由编码器和解码器组成，与基于Bahdanau注意力实现的序列到序列的学习相比，Transformer的编码器和解码器是基于自注意力的模块叠加而成的，源（输入）序列和目标（输出）序列的。6、多头注意力融合了来自于多个注意力汇聚的不同知识，这些知识的不同来源于相同的查询、键和值的不同的子空间表示；在计算编码器的自注意力时，查询、键和值都来自前一个编码器层的输出；1、基于位置

（1）捷径连接（Shortcut Connection）实现了恒等映射（Identity Mapping），也就是说，网络至少可以直接输出输入数据的原始值 𝑥x。6、因为最优点附近梯度为0，拟合得越好，越靠近最优点，梯度越小，相应的最优点附近就越平坦；（2）通过捷径连接，梯度可以直接从输出层反向传播到输入层。3、利用残差块（residual blocks）可以训练出一个有效的深层神经网络：输入可