1. 循环神经网络（RNN）定义循环神经网络（recurrent neural network, RNN）是一类专门设计处理不定长序列数据的神经网络。与使用一种新计算1作为核心的卷积神经网络不同，循环神经网络仍使用特征的线性组合作为计算核心，并使用共享参数策略使模型能泛化不同长度的序列数据。2. 循环神经网络的由来：从全连接神经网络（DNN）到循环神经网络（RNN）2.1 全连接神经网络的不足最初

0. BERT总述BERT全称为 Bidirectional Encoder Representation from Transformers（来自 Transformers 的双向编码器表示），是谷歌2018年发表的论文中1，提出的一个面向自然语言处理任务的无监督预训练语言模型。其意义在于：大量无标记数据集中训练得到的深度模型，可以显著提高各项自然语言处理任务的准确率。BERT采用Transfo

拿到文本数据后，自然语言处理任务的第一步工作是文本（数据）准备或叫文本（数据）预处理。文本预处理的流程如下图所示：

现在的很多数据是互相连接的，如果想分析这些链接的价值，知识图谱可以是一种有效的工具。而且随着万物互联时代的到来，链接中所包含的信息必然会发挥更大的价值，这也是为什么知识图谱在最近几年发展这么快的主要原因。知识图谱的概念、应用、构建知识图谱的定义知识图谱是2012年Google公司提出的一个新名词，这项技术的出现可以追溯到上世纪的六七十年代，在Google公司为发展产业化将其称为知识图谱之前，它一直

拿到文本数据后，自然语言处理任务的第一步工作是文本（数据）准备或叫文本（数据）预处理。文本预处理的流程如下图所示：