现在回忆两年前的quora的比赛，这是Bert模型刚刚出来的时候，现在的nlp比赛中出现的模型无非就是Bert或者Bert的魔改版，一些大力出奇迹模型。预训练模型甚至不需要进行预处理输入即可食用。个人还是喜欢用简单一点的模型来逼近这些预训练模型，减少对算力的依赖。这个比赛是我刚学nlp的时候打的比赛，在这个比赛中学习到很多知识。