本篇博客是在BERT的最初始的google版本的基础上改进，我们唯一需要修改的就是run_classifier.py数据的形式为下面我们一步一步的来更改：首先是导入包并且定义参数，我们将那些关于tpu的参数都去掉，因为我们基本上都是用gpu，而TPUEstimator在GPU上是不打印loss的，这也是为什么我们微调BERT时候只有看到最终结果，中间根本不知道训练的状况第一部分:import co

本篇博客是在BERT的最初始的google版本的基础上改进，我们唯一需要修改的就是run_classifier.py数据的形式为下面我们一步一步的来更改：首先是导入包并且定义参数，我们将那些关于tpu的参数都去掉，因为我们基本上都是用gpu，而TPUEstimator在GPU上是不打印loss的，这也是为什么我们微调BERT时候只有看到最终结果，中间根本不知道训练的状况第一部分:import co

也就是说AutoTokenizer是又一层的封装，避免了自己写attention_mask以及token_type_ids

NLLLossNLLLoss就是负对数似然(negative log likelihood loss)计算公式：nllloss=−∑n=1Nynlog⁡prob(xn)nllloss=-\sum_{n=1}^{N}y_n\log prob(x_n)nllloss=−n=1∑N​yn​logprob(xn​)举个例子就是：x=[0.1,0.2,-0.7]y=[0,1,0]计算过程就是：对x进行sof

通常我们在终端是不能用nltk.download(‘punkt’)下载的我把下载好的punkt.zip放到网盘里面了，应该是永久有效的，失效了可以联系我。链接: https://pan.baidu.com/s/1aaFpRWKA2rKV-a2OD6r0cQ密码: r98k那么下载后的punkt放到哪里呢???我们打开pythonimport nltknltk.word_tokenize("dsd