logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

BERT微调

bert微调步骤:首先从主函数开刀:copyrun_classifier.py 随便重命名 my_classifier.py先看主函数:if __name__ == "__main__":flags.mark_flag_as_required("data_dir")flags.mark_flag_as_required("task_name")flags.mark_flag_as_required

ubuntu下安装新版QQ

ubuntu下安装新版QQ喜欢使用ubuntu系统的朋友都知道,在ubuntu下用QQ一直是一个大难题。但是在生活中,却很难摆脱对QQ的依赖。在ubuntu下使用QQ有着各种各样的问题:QQ for linux虽然能够使用,但是由于长期以来没有更新,此版本的QQ的界面以及功能都不尽如人意;而网页的QQ就更不用说了,功能实在太少了。还好,网上有大神开发出了新版的wineQQ,解决了我们对QQ的需求

linux 运行shell 出现未预期的符号 `$‘do\r‘‘ 附近有语法错误

运行了多次.sh文件不停地报错如下:1语法错误: 未预期的文件结尾2未预期的符号 `$'do\r'' 附近有语法错误看上面应该是语法错误,但无论怎么改还是报错,经过一番探索发现,自己的文件是从windows里面拷贝到linux的,可能是两种系统格式不一样。解决方法如下:(1)打开notepad++编辑.sh文件(2)notepad++右下角将windows模式改为linux模式也可以这么解决:比如

#linux#r语言#windows
执行git clone拉取代码出现错误RPC failed,curl 56 OpenSSL SSL_read: SSL_ERROR_SYSCALL, errno 10054解决方法

最近在系统学习多线程并发的课程,课程中讲到了unsafe类,由于unsafe类在jdk中看不到源码,在idea中打开是反编译的,看不到具体的注释,所以去github上拉取openjdk的源码,openjdk上可以看到源码注释,但是在拉取时,一开始是好好地,但是拉取了一二十分钟后,突然报错了以前在github上拉取过很多图书的源码(买了很多技术书籍),拉取代码都是正常的,就是这次出错了,解决方法也很

#深度学习
Transformers包中BERT类预训练模型下载链接备份

bin文件文件位置:/transformers/modeling_bert.pyBERT_PRETRAINED_MODEL_ARCHIVE_MAP = {"bert-base-uncased": "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased-pytorch_model.bin","bert-large-

#bert#自然语言处理#pytorch
tensorflow和pytorch模型之间转换

参考链接:https://github.com/bermanmaxim/jaccardSegment/blob/master/ckpt_to_dd.py一. tensorflow模型转pytorch模型import tensorflow as tfimport deepdish as ddimport argparseimport osimport numpy as npdef tr(v):# t

深度学习PyTorch,TensorFlow中GPU利用率较低,CPU利用率很低,且模型训练速度很慢的问题总结与分析

在深度学习模型训练过程中,在服务器端或者本地pc端,输入nvidia-smi来观察显卡的GPU内存占用率(Memory-Usage),显卡的GPU利用率(GPU-util),然后采用top来查看CPU的线程数(PID数)和利用率(%CPU)。往往会发现很多问题,比如,GPU内存占用率低,显卡利用率低,CPU百分比低等等。接下来仔细分析这些问题和处理办法。1. GPU内存占用率问题这往往是由于模型的

Linux上查看已安装的CUDA和cuDNN版本号以及如何查看当前pytorch使用的cuda版本

1. 查看CUDA版本cuda默认安装在/usr/local目录,可以使用ls -l /usr/local | grep cuda查看该目录下有哪些cuda版本假设有如下输出:lrwxrwxrwx 1 root root8 Apr 26 2019 cuda -> cuda-9.0drwxr-xr-x 11 root root 4096 Apr 26 2019 cuda-10.0drwxr-x

#pytorch#linux#深度学习
深度学习 warmup 策略

一、介绍warmup顾名思义就是热身,在刚刚开始训练时以很小的学习率进行训练,使得网络熟悉数据,随着训练的进行学习率慢慢变大,到了一定程度,以设置的初始学习率进行训练,接着过了一些inter后,学习率再慢慢变小;学习率变化:上升——平稳——下降;具体步骤:启用warm up,设置warm up setp(一般等于epoch*inter_per_epoch),当step小于warm up setp时

深度学习PyTorch,TensorFlow中GPU利用率较低,CPU利用率很低,且模型训练速度很慢的问题总结与分析

在深度学习模型训练过程中,在服务器端或者本地pc端,输入nvidia-smi来观察显卡的GPU内存占用率(Memory-Usage),显卡的GPU利用率(GPU-util),然后采用top来查看CPU的线程数(PID数)和利用率(%CPU)。往往会发现很多问题,比如,GPU内存占用率低,显卡利用率低,CPU百分比低等等。接下来仔细分析这些问题和处理办法。1. GPU内存占用率问题这往往是由于模型的

    共 18 条
  • 1
  • 2
  • 请选择