目录自注意力和位置编码自注意力位置编码绝对位置信息相对位置信息代码实现导入模块自注意力位置编码自注意力和位置编码自注意力自注意力池化层将xi当作key, value, query来对序列特征得到yi与CNN、RNN进行比较：最长路径：信息从序列前端的某个位置传递到末端的某个位置的路径self-attention在长句子中虽然计算复杂度很好，但能很快地抓取距离很远的信息（适合处理较长的序列，付出了计

目录注意力机制非参注意力汇聚概述（不需要学习参数）参数化注意力机制概述正式系统学习1.平均汇聚（池化）2.非参数注意力汇聚（池化）3.带参数注意力汇聚注意力机制不随意线索：不需要有想法，一眼就看到的东西随意线索：想看书，所以去找了一本书1.卷积、全连接、池化层都只考虑不随意线索2.注意力机制则显示的考虑随意线索随意线索被称之为查询（query）每个输入是一个值（value）和不随意线索（key）的

目录注意力分数关于a函数的设计有两种思路1.加性注意力(Additive Attention)2.缩放点积注意力（Scaled Dot-Product Attention）模块导入遮蔽softmax操作加性注意力代码：补充知识：1.torch.repeat_interleave(data, repeat= , dim=)2.torch.nn.Linear(*in_features*, *out_f

算法分析正向最大匹配法，对于输入的一段文本从左至右、以贪心的方式切分出当前位置上长度最大的词。正向最大匹配法是基于词典的分词方法，其分词原理是:单词的颗粒度越大，所能表示的含义越确切。该算法主要分两个步骤:该算法主要分为两个步骤：1、一般从一个字符串的开始位置，选择一个最大长度的词长的片段，如果序列不足最大词长，则选择全部序列。2、首先看该片段是否在词典中，如果是，则算为一个分出来的词，如果不是，

21.Bert（预训练模型）动机基于微调的NLP模型预训练的模型抽取了足够多的信息新的任务只需要增加一个简单的输出层注：bert相当于只有编码器的transformer基于transformer的改进每个样本是一个句子对加入额外的片段嵌入位置编码可学习[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DwkojOLg-1649776319364)(C:\Users\pc

目录题型划分、常用算法及其适用场景常见赛题类型算法体系分类常用算法分类数据预处理模型及应用场景优化类模型及应用场景优化类模型：聚类模型及应用场景评价模型及应用场景预测类模型及应用场景题型划分、常用算法及其适用场景常见赛题类型优化类机理分析类评价类预测类算法体系分类数据处理模型优化模型预测模型评价模型聚类分析模型常用算法分类数据预处理模型及应用场景1.插值拟合主要用于对数据的补全处理;其中样本点较少

目录题型划分、常用算法及其适用场景常见赛题类型算法体系分类常用算法分类数据预处理模型及应用场景优化类模型及应用场景优化类模型：聚类模型及应用场景评价模型及应用场景预测类模型及应用场景题型划分、常用算法及其适用场景常见赛题类型优化类机理分析类评价类预测类算法体系分类数据处理模型优化模型预测模型评价模型聚类分析模型常用算法分类数据预处理模型及应用场景1.插值拟合主要用于对数据的补全处理;其中样本点较少

目录一、pagerank定义两个重要假设二、pagerank算法公式定义计算演示矩阵化计算三、存在的两个问题问题1.Dead Ends问题2.Spider Traps一、pagerank定义入链数：指向该节点的链接数出链数：由该节点指出的链接数以上图为例：A的入链数为1，出链数为3，所以将由A指向其他节点的边权重设置为1/3，表示A访问B、C、D节点的概率均为1/3两个重要假设数量假设:在Web图

convert_tokens_to_ids是将分词后的token转化为id序列，而encode包含了分词和token转id过程，即encode是一个更全的过程，另外，encode默认使用basic的分词工具，以及会在句子前和尾部添加特殊字符[CLS]和[SEP]，无需自己添加。从下可以看到，虽然encode直接使用tokenizer.tokenize()进行词拆分，会保留头尾特殊字符的完整性，但是

目录卷积神经网络前言卷积运算：卷积运算中几个常用的参数1.padding2.stride3.Max Pooling Layer实战演练设计一个卷积神经网络GPU的使用整体代码：运行结果卷积神经网络前言若将图像数据输入全连接层，可能会导致丧失一些位置信息卷积神经网络将图像按照原有的空间结构保存，不会丧失位置信息。卷积运算：1.以单通道为例：将将input中选中的部分与kernel进行数乘 ：以上图为