树（Tree）是有限个数据节点（即数据项）组成的集合，其中除根节点和叶的下标为外，每个节点都具有一个直接先驱节点和多个直接后继节点，这与每节点仅具有一个直接先驱节点和一个直接后继节点的线性结构不同；树结构中，根节点（Root）没有先驱节点，叶节点（Leaf）没有后续节点。如果树中的每个节点最多可以有两个后续节点，那么这样的树状结构称为二叉树，这是树状结构中最为常用的一种。二叉树（Binary Tr

1. 加入Attention机制的Seq2Seq模型注意力层（Attention）添加到解码器与输出层之间，它负责从编码器输出序列中挑选出任务相关的信息，将其与解码器输出序列最后时刻状态一起传入输出层，供文本生成预测使用。如下图所示：图1加入Attention机制的Seq2Seq 模型Attention机制在计算注意力分布之前，引入由编码器（Encoder）输入序列长度决定的mask矩阵与注意力得

马尔科夫假设认为在一句话中，某单词的出现概率只与它前面的前 nnn 个单词有关。2.2.1 Bi-gram基于一阶马尔科夫假设衍生出Bi-gram语言模型，该模型假设句中单词的出现概率只与其前面相邻的前1个单词有关，所以模型表达式可简化成如下：P(S)=P(W1,W2,…,Wn)=P(W1)P(W2∣W1)⋯P(Wn∣Wn−1)(4)P(S) = P(W_1, W_2, …, W_n) = P(W

机器学习笔记概述：随着今年人工智能概念的兴起，网上已有很多关于机器学习的学习笔记，他们从模型算法原理、python调包实现到模型超参调整均多有概盖述，本文尝试从创建模型算法的数学原理出发，展现一些新的理解。框架从数学原理看，机器学习模型可分为概率模型和非概率模型...

时序模型：门控循环神经网络（GRU）

序言tf2.0中有三种主流模型创建方法：顺序式模型创建方法、函数式模型创建方法和子类式模型创建方法；前两者用于创建静态图神经网络模型，最后者用于创建动态图神经网络模型。顺序式创建方法该方法使用 tf.keras.models.Sequential() 创建仅由顺序连接的单层堆栈组成的简单神经网络模型，Sequential() 中输入神经网络层定义数组。如下所示：import tensorflow

估计HMM模型参数时，根据是否已知观测序列对应状态序列，可分为由监督学习算法实现和由无监督学习算法实现。 1. 有监督学习估计HMM模型参数 假设给定训练数据包含 n n n 个观测序列和对应的状态序列（不同观测序列长度可以相同，也可以不同） { ( X 1 , Y 1 ) , ( X 2 , Y 2 ) , ⋯   , ( X n , Y n ) } \{(X_1, Y_1), (X_2, Y_

1.词袋模型独特编码表示系统由，独热编码（Onehot Encoding ）、频数编码（Count Encoding）、TF-IDF编码三种方法逐层递进构成。1.1Onehot Encoding对非数值型调特征来说，最常见的特征编码方法就是标签编码（Label Encoding）和独热编码（Onehot Encoding ）。Onehot Encoding凭借任意不同类别编码向量间距离相同的特性，

0. BERT总述BERT全称为 Bidirectional Encoder Representation from Transformers（来自 Transformers 的双向编码器表示），是谷歌2018年发表的论文中1，提出的一个面向自然语言处理任务的无监督预训练语言模型。其意义在于：大量无标记数据集中训练得到的深度模型，可以显著提高各项自然语言处理任务的准确率。BERT采用Transfo

1. 模型原理Transform是一种基于全连接神经网络的编码器-解码器（encoder-decoder）架构实现，它由输入模块、编码器模块、解码器模型和输出模型四部分组成。其结构如下图所示：图1Transform模型关于Transform的基础知识介绍，网上已有许多公开的资料。读者可自行查阅学习。本文默认大家已具备Transform相关的基础知识，文本将讨论其中值得注意的四个问题：Transfo