Bert模型是一个通用backbone，可以简单理解为一个句子的特征提取工具更直观来看：我们的自然语言是用各种文字表示的，经过编码器，以及特征提取就可以变为计算机能理解的语言了。

任务一为通过论文作者，标题和关键词确定文章类型，我们主要目标是应尽量突出那些有鲜明文章特色的词语，来确保分类尽可能准确。

transfomer是自然语言处理中的一个重要神经网络结构，算是在传统RNN和LSTM上的一个升级，接下来让我们来看看它有处理语言序列上有哪些特殊之处

自然语言处理（Natural LanguageProcessing）简称NLP，与一般的机器学习任务都不相同，自然语言处理研究我们的语言任务，因为文本是一个复杂的东西，我们如何让计算机去理解我们的自然语言是一个很有挑战的事情，一个普遍的思想就是将我们的语言进行编码one-hot是一种简单的词编码方式，它包含每个词在句子中的位置信息，看下面的简单示例假设有这样一句话: I like thestars

刷课python

根据任务特点挖掘重要特征如何去除无用的特征数据中有空缺值如何处理如何将字符特征转化为数字随机森林模型的应用当然，也可以自己处理特征，自己选择模型，调整参数，看看会不会获得更好的结果​。

感知机是一种很简单的二分类模型，给它一组特征，它输出是或者否

从数据中拟合出某种规律，只是它的模型结构与经典机器学习的模型不同，且具有特色：它的模型结构像人脑的神经元一样连接，所以我们也把这种结构叫做神经网络结构由数个神经元组成一层，整个神经网络由多个层组成，最开始的层叫做输入层，最后的层叫做输出层，输入层与输出层中间的叫做隐藏层，层与层之间互相连接基本要素作为机器学习的一种，深度学习当然也有模型性能评估函数损失函数优化方法，神经网络还有一个激活函数。

在一个多元函数中，某点的梯度方向代表函数增加最快的方向，梯度下降的原理就是，找到损失函数下降最快的方向（与梯度方向相反），然后往这个方向走，最后达到损失函数的最小值，如下图，从高的红色点到达了低的蓝色点，梯度下降就是这样一个过程我们可以得到一个参数更新公式，把参数设为a， 梯度设为grad，那么。

数据的获取，处理与分析是机器学习中一个重要的过程，好的数据分析与好的算法一样重要。