logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

未填写擅长的技术栈

可提供的服务

暂无可提供的服务

【备忘录】transformers tokenizer.tokenize和tokenizer.encode

from transformers import BertTokenizer, BertModeltokenizer = BertTokenizer.from_pretrained('hfl/chinese-bert-wwm')text = '在此基础上，美国试图挑拨伊朗和伊拉克关系。'tokenizer_out = tokenizer.tokenize(text)print(tokenizer_

#nlp#python
【踩坑】No module named ‘fused_layer_norm_cuda‘

报错Traceback (most recent call last):self.bertForToken = BertForTokenClassification.from_pretrained(self.opt.bert_model_dir, num_labels=self.opt.tag_nums)File "/home/xxx/anaconda3/lib/python3.7/site-pa

【踩坑】RuntimeError: CUDA error: CUBLAS_STATUS_NOT_INITIALIZED when calling `cublasCreate(handle)`

在GPU运行报错RuntimeError: CUDA error: CUBLAS_STATUS_NOT_INITIALIZED when calling `cublasCreate(handle)`在CPU运行报错index out of range in self看了一些回答说batch size太大，或者CUDA版本和torch不匹配，尝试无果。有可能是embedding的问题这个答案对我也没

【备忘录】nohup指定gpu训练

CUDA_VISIBLE_DEVICES=1 nohup python train.py> nohup.log 2>&1 &

#python
到底了