我们在进行nlp任务时都需要进行数据清洗，我们可以简单的选择string.punctuaion直接去除符号，但是有时候会，文本中不仅仅只有英文符号，因此一般的做法时自定义要去除的符号。方法如下：#定义符号punctuation = r"""!"#$%&'()*+,-./:;<=>?@[\]^_`{|}~“”？，！【】（）、。：；’‘……￥·"""#转换字典dicts={i:''

torchcrf错误处理

由于自己经常忘记如何保存Transformers中的模型，故在此纪录一下官方提供的例子。output_model_file = "./models/my_own_model_file.bin"output_config_file = "./models/my_own_config_file.bin"output_vocab_file = "./models/my_own_vocab_file.bi