公众号：数据挖掘与机器学习笔记《Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification》是2016年由中国科学技术大学Peng Zhou等在ACL发表的论文，本文是对该论文的简单解读和代码复现。1.模型结构现在来看，模型的结构还是比较简单的，主要包括5部分，分别是输入层、词嵌

利用实体信息丰富预训练模型以进行关系分类Enriching Pre-trained Language Model with Entity Information for Relation Classification摘要关系分类是抽取实体间关系的一个重要的NLP任务。关系抽取中的SOTA方法主要基于卷积神经网络或者循环神经网络。最近，预训练的BERT模型在NLP分类和序列标注任务上取得了非常成功的

公众号：数据挖掘与机器学习笔记1.Albert简介Alber相对于原始BERT模型主要有三点改进：embedding 层参数因式分解跨层参数共享将 NSP 任务改为 SOP 任务1.1 embedding 层参数因式分解（Factorized Embedding Parameterization）原始的 BERT 模型以及各种依据 Transformer 的预训连语言模型都有一个共同特点，即 E=

一、相关理论   本篇博文主要讲解2013年，ICML上的一篇文献：《Maxout  Networks》，这个算法我目前也很少用到，个人感觉最主要的原因应该是这个算法参数个数会成k倍增加(k是maxout的一个参数)，不过没关系，对于我们来说知识积累才是最重要的，指不定某一天我们就需要用到这个算法，技多不压身。个人感觉Maxout网络和Dropout有很多相似的地方。    本篇博文将从什...

公众号：数据挖掘与机器学习笔记1.孪生(Siamese)网络基本原理孪生网络是包含两个或多个相同的的子网络组件的神经网络，如下所示：在孪生网络中，不仅子网络的架构是相同的，而且权重在子网络中也是共享的，这样的网络被称为孪生网络。孪生网络背后的思想是其能够学习有用的数据描述符，这些描述符可以进一步用于在各个子网的输入之间进行比较。因此，孪生网络的输入可以是数值数据、图像数据(CNN为子网络)或者序列

公众号：数据挖掘与机器学习笔记1.Albert简介Alber相对于原始BERT模型主要有三点改进：embedding 层参数因式分解跨层参数共享将 NSP 任务改为 SOP 任务1.1 embedding 层参数因式分解（Factorized Embedding Parameterization）原始的 BERT 模型以及各种依据 Transformer 的预训连语言模型都有一个共同特点，即 E=

tf.nn.static_rnnAliases:tf.contrib.rnn.static_rnntf.nn.static_rnn使用指定的RNN神经元创建循环神经网络tf.nn.static_rnn(    cell,    inputs,    initial_state=None,    dtype=None,    sequence_length=N...

公众号：数据挖掘与机器学习笔记1.构建方法知识图谱的构建方法有三种: 自底向上、自顶向下和二者混合的方法.1.1 自底向上法自底向上的构建方法, 从开放链接的数据源中提取实体、属性和关系, 加入到知识图谱的数据层；然后将这些知识要素进行归纳组织, 逐步往上抽象为概念, 最后形成模式层. 自底向上法的流程如图1所示.知识抽取知识抽取, 类似于本体学习, 采用机器学习技术自动或半自动地从一些开放的多源

1. 什么是SoftmaxSoftmax 在机器学习和深度学习中有着非常广泛的应用。尤其在处理多分类（C > 2）问题，分类器最后的输出单元需要Softmax 函数进行数值处理。关于Softmax 函数的定义如下所示：其中，Vi 是分类器类别的输出。i 表示类别索引，总的类别个数为 C。Si 表示的是当前元素的指数与所有元素指数和的比值。Softmax 将多分类的输出数值转化为相..

1.计算图的概念Tensorflow这个名字已经说明了它的含义，Tensor是张量的意思，可以理解为多维数组，表明了它的数据结构；Flow意思是“流”，则体现了它的计算模型，表示了张量之间计算相互转化的过程。Tensorflow通过计算图的形式来表达计算，其中的每一个计算都是计算图上的一个节点，连接节点的边则描述了计算之间的依赖关系。如果一个运算的输入依赖另一个运算的输出，那么这两个运算就有依赖关