print(torch.cuda.is_available())报错但是CUDA和cudnn都安装完成，版本对应良好，报错如下UserWarning: CUDA initialization: Unexpected error from cudaGetDeviceCount(). Did you run some cuda functions before calling NumCudaDevic

INFO: This is taking longer than usual. You might need to provide the dependency resolver with stricter constraints to reduce runtime. See https://pip.pypa.io/warnings/backtracking for guidance. If yo

前置知识可以参考同系列文章：目录pytorch搭建神经网络解决多分类问题softmax损失函数多分类的实现数据的准备构建模型、损失函数及优化器训练及测试部分训练结果pytorch搭建神经网络解决多分类问题softmax核心：最后一层使用softmax层1.求指数将负值转化为非负值2.分母将所有输出求和（归一化）保证条件如下：损失函数使用负对数似然函数（只有y=1的项才真正被计算，为0不影响结果）：

Pandas.DataFrame.locloc允许的输入为：单个标签，例如5or 'a'（请注意，它5被解释为索引的标签，而不是沿着索引的整数位置）。标签列表或数组，例如.['a', 'b', 'c']带有标签的切片对象，例如'a':'f'。需要注意的是违背了普通的Python片，开始和停止都包括与被切片的轴长度相同的布尔数组，例如.[True, False, True]一个可对齐的布尔系列。键的

目录Transformer模型基本介绍多头注意力有掩码的多头注意力基于位置的前馈网络层归一化信息传递（对应结构图中连接解码器与编码器的线）预测多头注意力实现Transformer实现Transformer模型基本介绍与seq2seq相比transformer是一个纯粹基于注意力的架构(自注意力同时具有并行计算和最短的最大路径长度这两个优势),没有用到任何CNN和RNN。如下图所示，transfor

什么是人工神经网络？人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connection Model），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。人工神经网络：是一种应用类似于大脑神经突触联接的结构进

convert_tokens_to_ids是将分词后的token转化为id序列，而encode包含了分词和token转id过程，即encode是一个更全的过程，另外，encode默认使用basic的分词工具，以及会在句子前和尾部添加特殊字符[CLS]和[SEP]，无需自己添加。从下可以看到，虽然encode直接使用tokenizer.tokenize()进行词拆分，会保留头尾特殊字符的完整性，但是

前置知识可以参考同系列文章：目录pytorch搭建神经网络解决多分类问题softmax损失函数多分类的实现数据的准备构建模型、损失函数及优化器训练及测试部分训练结果pytorch搭建神经网络解决多分类问题softmax核心：最后一层使用softmax层1.求指数将负值转化为非负值2.分母将所有输出求和（归一化）保证条件如下：损失函数使用负对数似然函数（只有y=1的项才真正被计算，为0不影响结果）：

目录自注意力和位置编码自注意力位置编码绝对位置信息相对位置信息代码实现导入模块自注意力位置编码自注意力和位置编码自注意力自注意力池化层将xi当作key, value, query来对序列特征得到yi与CNN、RNN进行比较：最长路径：信息从序列前端的某个位置传递到末端的某个位置的路径self-attention在长句子中虽然计算复杂度很好，但能很快地抓取距离很远的信息（适合处理较长的序列，付出了计

实现思路代码实现词级别的评价from collections import Counterclass Metrics(object):"""用于评价模型，计算每个标签的精确率，召回率，F1分数"""def __init__(self, golden_tags, predict_tags, remove_O=False):# [[t1, t2], [t3, t4]...] --> [t1, t