使用visdom可视化pytorch训练时报错：TypeError: Object of type Tensor is not JSON serializable今天学习使用visdom对pytorch训练过程中的loss进行可视化。部分代码如下：loss0 = criterion0(f_y0, f_out_y0, w0) + 0.01 * l2_regularization0loss1 = cr

在collate_fn中进行序列补齐第二种方法通常是在load一个batch数据时, 在collate_fn中进行补齐的. collate_fn使用方法以下给出两种思路:第一种思路是比较容易想到的, 就是对一个batch的样本进行遍历, 然后使用np.pad对每一个样本进行补齐.for unit in data:mask = np.zeros(max_length)s_len = len(unit

1.为什么要使用collate_fn这里先从dataset的运行机制讲起.在dataloader按照batch进行取数据的时候, 是取出大小等同于batch size的index列表; 然后将列表列表中的index输入到dataset的getitem()函数中,取出该index对应的数据; 最后, 对每个index对应的数据进行堆叠, 就形成了一个batch的数据.看这个视频可以理解得更透彻一些⚠

神经网络/模型训练Debug深度模型的Debug与一般程序的Debug有很大的不同. 一般程序的Debug通常可以通过简单地打断点调试出来. 而深度模型通常会出现程序的所有模块都可以正常跑通, 但就是模型效果与正常情况相去甚远, 这种Debug就非常的困难.尤其对于大模型来说, 一处"笔误"可能也会导致很大的问题.因此, 这里总结常见的Bug以及Debug经验.常见Bug1. 某一部分参数梯度总为

Liunx创建新用户登录异常：/usr/bin/xauth: error/timeout in locking authority file /home/liuqidong/.Xauthority问题1：在服务器上创建新的用户userA，在使用ssh连接时报错：/usr/bin/xauth: error in locking authority file /home/userA/.Xauthori

Pytorch直接在GPU上创建张量报错：legacy constructor expects device type: cpubut device type: cuda was passed一般的创建张量方法：torch.Tensor(x)# x可以是list或者np.array类型但是这种创建方式默认是在把张量放在CPU（内存）中的。如果我们要使用GPU来训练模型，那么就还必须进行一步将张量复

问题描述首先说明: 由于我的测试集很大, 因此需要对测试集进行分批次推理.在写代码的时候发现进行训练的时候大概显存只占用了2GB左右, 而且训练过程中显存占用量也基本上是不变的. 而在测试的时候, 发现显存在每个batch数据推理后逐渐增加, 直至最后导致爆显存, 程序fail.这里放一下我测试的代码:y, y_ = torch.Tensor(), torch.Tensor()for batch

在Windows下使用docker,不论是login,search还是push都会报错超时：Get https://registry-1.docker.io/v2/: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)这个问题是Window.

在Linux下安装R语言包的时候出现问题：make XXX:permission denied最近在做因果推断相关的研究，发现因果推断中许多代码的实现甚至是数据集的模拟都是使用的R语言，迫不得已我也开始学习R的使用。在进行因果推重一个benchmark数据集IHDP的模拟中，要使用到名为NPCI的R包。安装的时候报了如下错误（只提取错误中关键的部分）：make xxx:permissio...

问题描述首先说明: 由于我的测试集很大, 因此需要对测试集进行分批次推理.在写代码的时候发现进行训练的时候大概显存只占用了2GB左右, 而且训练过程中显存占用量也基本上是不变的. 而在测试的时候, 发现显存在每个batch数据推理后逐渐增加, 直至最后导致爆显存, 程序fail.这里放一下我测试的代码:y, y_ = torch.Tensor(), torch.Tensor()for batch