本文主要解决pytorch在进行模型训练时出现GPU的0卡占用显存比其他卡要多的问题。如下图所示：本机GPU卡为TITAN RTX，显存24220M，batch_size = 9，用了三张卡。第0卡显存占用24207M，这时仅仅是刚开始运行，数据只是少量的移到显卡上，如果数据在多点，0卡的显存肯定撑爆。出现0卡显存更高的原因：网络在反向传播的时候，计算loss的梯度默认都在0卡上计算。因此会比其他

一、查看分支a、git branch 查看本地所有分支b、git branch -a 查看远程所有分支二、创建本地创建分支并切换到该分支git checkout -b 新分支名创建分支，但不切换git branch新分支名三、将二中创建的分支关联远程仓库git push --set-upstream origin 分支名四、从远程仓库拉取本地不存在的分支git checkout -b 本地分支名

如果你不想通过git clone远程仓库地址--branch 分支名去下拉远程指定分支的文件，可以通过以下方法实现：1、在本地创建和远程仓库相同分支，这里以dev分支为例git checkout -b dev# 创建本地dev分支，并切换至dev分支2、这时还不能git pull，需要先执行：git branch --set-upstream-to=or...

ZeRO算法将显存优化到底

1、前言2019年可以说是语言模型快速发展的一年，BERT、XLNET、Albert等等模型不断刷新各个NLP榜单。在NLP榜单中比较引人注目的应该属于阅读理解型的任务，例如SQuAD等等。以SQuAD为例，模型需要阅读一段给定的文本，然后回答几个问题，问题如果存在答案，答案一定可以在文章中找到。所以说虽然叫阅读理解，但其实和序列标注有点相像，是在给定序列中标出答案段。而这篇论文针对的问题叫开放.

本文主要解决pytorch在进行模型训练时出现GPU的0卡占用显存比其他卡要多的问题。如下图所示：本机GPU卡为TITAN RTX，显存24220M，batch_size = 9，用了三张卡。第0卡显存占用24207M，这时仅仅是刚开始运行，数据只是少量的移到显卡上，如果数据在多点，0卡的显存肯定撑爆。出现0卡显存更高的原因：网络在反向传播的时候，计算loss的梯度默认都在0卡上计算。因此会比其他

np.random.multinomial(n, pvals, size=None) -> 取到的次数分布数组该函数表示根据一个概率数组，取若干次，得到一个次数分布数组参数说明：–n : 从矩阵中取值次数；–pvals：根据概率取值，这是一个数组，并且所有数据之和为1；–size：输出的维度，默认为1，即1 x pvals例子：a = np.random.rand(6)p...

很多博客关于宏平均，微平均，权重平均介绍了一大堆的公式，让人看了一头雾水，本文主要重点介绍怎么计算，从实例出发，相信大家在跟着算完一遍之后就知道这三个平均的意思了。相关定义：真正例（True Positive，TP）：真实类别为正例，预测类别为正例。假正例（False Positive，FP）：真实类别为负例，预测类别为正例。假负例（False Negative，FN）：真实类别为正例，预测类别为

方法一：直接复制jupyter单元格选中需要合并的部分单元格，ctrl+c，直接粘贴至另外的jupyter窗口中即可方法二：借助nbmerge工具包安装：pip install nbmerge然后执行：nbmerge a.ipynb b.ipynb c.ipynb > merge.ipynb合并的个数不限，但至少2个。...

pandas对整列赋值这个比较正常，一般直接赋值就可以:x = pd.DataFrame({'A': ['1', '2', '3', None, None],'B': ['4', '5', '6', '7', None]})x['A'] = ['10', '11', '12', '13', '14']pandas对非整列赋值1、用单个值赋值x = pd.DataFrame({'A': ['1',