错误如下：PyTorch查询embedding的时候，报错了~/anaconda3/lib/python3.6/site-packages/torch/nn/modules/module.py in __call__(self, *input, **kwargs)491result = self._slow_forward(*input, **kwargs)492else:--> 493re

在深度学习模型训练过程中，在服务器端或者本地pc端，输入nvidia-smi来观察显卡的GPU内存占用率（Memory-Usage），显卡的GPU利用率（GPU-util），然后采用top来查看CPU的线程数（PID数）和利用率（%CPU）。往往会发现很多问题，比如，GPU内存占用率低，显卡利用率低，CPU百分比低等等。接下来仔细分析这些问题和处理办法。1. GPU内存占用率问题这往往是由于模型的

最近由于工作需要，将transformer的相关资料看了下，网上很多关于transformer的讲解，但是很多都只讲了整个架构，涉及到的细节都讲的不是很清楚，在此将自己关于某些细节的体 会写出来，大家一起学习探讨下。下图是transformer的原始架构图，就不细讲了。主要讲下数据从输入到encoder到decoder输出这个过程中的流程（以机器翻译为例子）：1.encoder对于机器翻译来说，一

向量来屏蔽不希望计算loss的部分，下面就是数据构造的一个示意：做的事情就是拼接prompt和answer，并在answer两侧添加一个开始和结束的符号，算一下prompt/instruction的长度，以及后面需要pad的长度，然后生成一个mask向量，answer部分为1，其他部分为0。，也就是transformer(X)的维度还是(1,10,768)，接下来就是基于它来进行预测了，因为要预测

最近在系统学习多线程并发的课程，课程中讲到了unsafe类，由于unsafe类在jdk中看不到源码，在idea中打开是反编译的，看不到具体的注释，所以去github上拉取openjdk的源码，openjdk上可以看到源码注释，但是在拉取时，一开始是好好地，但是拉取了一二十分钟后，突然报错了以前在github上拉取过很多图书的源码（买了很多技术书籍），拉取代码都是正常的，就是这次出错了，解决方法也很

VS Code的Error: Running the contributed command: '_workbench.downloadResource' failed解决1 问题描述2 解决方案1 问题描述此前，本人参考网上教程在VS Code中配置了“Remote SSH”插件（比如这个教程），本人是在Windows中使用VS Code来连接远程的Linux服务器。但是今天使用遇到了问题Err

突然发现之前遇到的问题是容易反复遇到的，那就随手做一个整理吧~1. 在feature层到classifier层中，若出现如下错误：则需要改变FC层的入口参数，如此图中可以改为：x = x.view(out.size(0), -1)self.linear = nn.Linear(320, 10) # 320为入口参数2. 训练中training accuracy有变化，但test accuracy始

背景在使用其他组织或个人发布的RoBERTa预训练模型时，一般除了模型文件之外还会有merges.txt和vocab.json。相比于BERT只需要一个vocab.txt，为何RoBRETa需要2个？作用是什么？PS：这里使用的是huggingface/transformers 下的 RoBRTa-base版模型。说明Bert采用的是字符级别的BPE编码，直接生成词表文件。Roberta采用的是*

allennlp1.1.0rc3 可以匹配 torch1.6.0allennlp1.0.0rc1 可以匹配 torch1.3.1allennlp0.9.0 可以匹配 torch1.2.0allennlp0.8.0可以匹配torch1.1.0allennlp0.7.1可以匹配torch0.4.1

目前使用PyG库需要的下载的whl主要为torch-cluster;一开始以为是pickle的问题，实际上最终就是torch-geometric版本不对的问题。也就是原因：torch和torch-geometric版本不兼容造成的。torch-sparse后，所有教程都是直接：pip install torch-geometric。这时候安装的 torch-geometric2.0.X版本的，这时