首先，回顾几个概念：过拟合：数据量过大，模型为了尽可能的拟合数据，不断委屈自己适应训练数据。此时，模型在训练数据上效果很好，在测试数据上效果很差欠拟合：模型没有完全拟合数据，比如一个随机初始化的模型。此时，模型在训练数据和测试数据上效果都很差数据量过少，不属于以上两种情况，此时模型稍加训练便可以拟合训练数据。此时模型在训练数据上表现很好，在测试数据上表现很差...

首先，回顾几个概念：过拟合：数据量过大，模型为了尽可能的拟合数据，不断委屈自己适应训练数据。此时，模型在训练数据上效果很好，在测试数据上效果很差欠拟合：模型没有完全拟合数据，比如一个随机初始化的模型。此时，模型在训练数据和测试数据上效果都很差数据量过少，不属于以上两种情况，此时模型稍加训练便可以拟合训练数据。此时模型在训练数据上表现很好，在测试数据上表现很差...

fine-tun有两种形式，google官网给出的run_classifier.py示例，是利用行业数据对bert的所有参数做微调。将text_a和text_b串接，最后层做一个二分类。而另一种形式，是exact_featrue.py，保存bert特征作为输入，训练自己的较浅的神经网络模型。...

维度过小，维度过大

首先，回顾几个概念：过拟合：数据量过大，模型为了尽可能的拟合数据，不断委屈自己适应训练数据。此时，模型在训练数据上效果很好，在测试数据上效果很差欠拟合：模型没有完全拟合数据，比如一个随机初始化的模型。此时，模型在训练数据和测试数据上效果都很差数据量过少，不属于以上两种情况，此时模型稍加训练便可以拟合训练数据。此时模型在训练数据上表现很好，在测试数据上表现很差...