facebook faiss

由于模型训练的需要，当前词表对分词操作不理想，因此选择修改tokenizer词表～在special_tokens中添加不想被拆分开的单词或者文字special_tokens = []with open("待添加词所在文件", "r") as f_vocab:for line in f_vocab:special_tokens.append(line.strip())tokenizer = Auto