logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Pytorch 多机多卡报错:Some NCCL operations have failed or timed out. Due to the asynchronous nature of CUDA

Some NCCL operations have failed or timed out. Due to the asynchronous nature of CUDA kernels, subsequent GPU operations might run on corrupted/incomplete data. To avoid this inconsistency, we are tak

#pytorch#深度学习
李沐动手学深度学习V2-深度循环神经网络和代码实现

与多层感知机一样,循环神经网络也可以将多层循环神经网络堆叠在一起, 通过对几个简单层的组合,产生了一个灵活的机制。 特别是,数据可能与不同层的堆叠有关。 下图所示描述了一个具有 𝐿 个隐藏层的深度循环神经网络, 每个隐状态都连续地传递到当前层的下一个时间步输入和当前层下一层的当前时间步输入。假设在时间步ttt有一个小批量的输入数据Xt∈Rn×d\mathbf{X}_t \in \mathbb{R

#深度学习#rnn#lstm +2
李沐动手学深度学习V2-transformer和代码实现

自注意力同时具有并行计算和最短的最大路径长度这两个优势。因此使用自注意力来设计深度架构是很有吸引力的。对比依赖循环神经网络实现输入表示的自注意力模型,transformer模型完全基于注意力机制,没有任何卷积层或循环神经网络层。尽管transformer最初是应用于在文本数据上的序列到序列学习,但现在已经推广到各种现代的深度学习中,例如语言、视觉、语音和强化学习领域。......

#transformer#nlp
李沐动手学深度学习v2-目标检测中的锚框和代码实现

本节锚框代码实现,使用了很多Pytorch内置函数,如果有对应函数看不懂的地方,可以查看前面博客对相应函数的具体解释,如下链接所示:目标检测算法通常会在输入图像中采样大量的区域,然后判断这些区域中是否包含我们感兴趣的目标,并调整区域边界从而更准确地预测目标的真实边界框(ground-truth bounding box)。 不同的模型使用的区域采样方法可能不同。 这里介绍其中的一种方法:以每个像素

#深度学习#目标检测#pytorch +2
李沐动手学深度学习V2-RNN循环神经网络从零实现

根据上篇博客介绍李沐动手学深度学习V2-RNN循环神经网络原理, 来从头开始基于循环神经网络实现字符级语言模型,模型将在H.G.Wells的时光机器数据集上训练,首先读取数据集。2. 独热编码(one-hot encoding)在train_iter中,每个词元都表示为一个数字索引, 将这些索引直接输入神经网络可能会使学习变得困难,我们通常将每个词元表示为更具表现力的特征向量,最简单的表示称为独热

#rnn#nlp#自然语言处理 +1
python 导入同级目录文件、上级目录文件以及下级目录数据集和模块包

有时候我们可能需要import另一个路径下的python文件,例如下面这个目录结构,我们想要在_train.py里import在networks目录下的_lstm.py和上级目录下的_config.py。其中标红文件使用了 标绿文件夹中的内容,

#python#深度学习#开发语言
从googleDriver下载大数据集

在Google浏览器googleDriver下载数据集,下载一天还各种下载不下来,要么下载不全要么下载出错,崩溃,解决办法:下载一个google网盘到本地,将别人分析给你的网盘文件设置为"就能把数据集完美下载下来(或直接用scp上传到服务器也可以)里面就能看到你的文件–>就能看到你的文件–>

#服务器#深度学习
李沐动手学深度学习V2-深度循环神经网络和代码实现

与多层感知机一样,循环神经网络也可以将多层循环神经网络堆叠在一起, 通过对几个简单层的组合,产生了一个灵活的机制。 特别是,数据可能与不同层的堆叠有关。 下图所示描述了一个具有 𝐿 个隐藏层的深度循环神经网络, 每个隐状态都连续地传递到当前层的下一个时间步输入和当前层下一层的当前时间步输入。假设在时间步ttt有一个小批量的输入数据Xt∈Rn×d\mathbf{X}_t \in \mathbb{R

#深度学习#rnn#lstm +2
李沐动手学深度学习V2-RNN循环神经网络原理

前面博文介绍了nnn元语法模型,其中单词xtx_txt​在时间步ttt的条件概率仅取决于前面n−1n-1n−1个单词。对于时间步t−(n−1)t-(n-1)t−(n−1)之前的单词,如果想将其可能产生的影响合并到xtx_txt​上,需要增加nnn,导致模型参数的数量也会随之呈指数增长,因为词表V\mathcal{V}V需要存储∣V∣n|\mathcal{V}|^n∣V∣n个数字,因此与其将P(xt

#rnn#pytorch#nlp +1
    共 51 条
  • 1
  • 2
  • 3
  • 6
  • 请选择