1、前言在数据脱敏比赛或者某些锤类领域中，使用该领域的文本继续预训练，往往可以取得一个更好的结果。这篇文章主要讲怎么继续预训练。2、两种训练框架（1）采用transformer中Trainer可根据实际情况，通过 model.resize_token_embeddings(len(tokenizer)) 重新定义词表的大小。输入data格式为：以每行一个文本为单位进行mask，具体mask策略在D

基于seq2seq的中文聊天机器人一、系统设计思路和框架二、源码结构三、源码详解一、系统设计思路和框架本次系统全部使用 Python 编写，在系统设计上遵循着配置灵活、代码模块化的思路，分为数据预处理器、数据处理器、执行器、深度学习模型、可视化展示五个模块。模块间的逻辑关系大致为：1）数据预处理是将原始语料进行初步的处理以满足于数据处理模块的要求；2）执行器是整个系统引擎分别在运转的时候...