文章目录tokenizer基本含义bert里涉及的tokenizerBasicTokenzerwordpiecetokenizerFullTokenzierPretrainTokenizer关系图实操如何训练训练自己中文的tokenizer总结引用tokenizer基本含义tokenizer就是分词器； 只不过在bert里和我们理解的中文分词不太一样，主要不是分词方法的问题，bert里基本都是最大

布尔模型(Boolean Model)介绍最早的IR模型，也是应用最广泛的模型；目前仍然应用于商业系统中；Lucene是基于布尔（Boolean）模型的。布尔模型描述文档D表示：一个文档被表示为关键词的集合查询式Q表示:查询式(Queries)被表示为关键词的布尔组合，用“与、或、非”连接起来，并用括弧指示优先次序。匹配F:一个文档当且仅当它能够满足布尔查询式时，才将其检索出来。

现象描述Eclipse一直building workspace, 无论保存project还是maven install等，都会遇到 invoking maven project builder，卡主。重启eclipse也是不行。几种解决方案。