最大熵模型（maximum entropy model）是由最大熵原理推导而来的。一、最大熵原理最大熵原理认为，学习概率模型的时候，在所有可能的概率模型分布中，熵最大的模型是最好的模型。模型通常要满足数据集的约束条件。所以最大熵模型的原理可以被描述为在满足约束条件下熵最大的模型。直观地讲，最大熵原理，认为要选择的概率模型首先要满足已有的事实，即约束条件。然后再不确定信息的情况下，那...

2010Tumasjan, Andranik, et al. "Predicting elections with twitter: What 140 characters reveal about political sentiment."Fourth international AAAI conference on weblogs and social media. 2010.被引...

报错信息Exception ignored in: <bound method BaseSession.__del__ of <tensorflow.python.client.session.Session object at 0x000000001AB286D8>>Traceback (most recent call last):File "python...

给定一个函数，我们想知道当是值是多少的时候使这个函数达到最小值。为了实现这个目标，我们可以使用梯度下降（Gradient Descent）进行近似求解。梯度下降是一个迭代算法，具体地，下一次迭代令是梯度，其中是学习率(learning rate)，代表这一轮迭代使用多少负梯度进行更新。梯度下降非常简单有效，但是其中的原理是怎么样呢？原理为什么每次使用负梯度进行更新呢？这要从泰勒公式（Taylor'

在使用tensorflow时发现其提供了两种Attention Mechanisms（注意力机制），如下The two basic attention mechanisms are:tf.contrib.seq2seq.BahdanauAttention (additive attention, ref.)tf.contrib.seq2seq.LuongAttention (multi...

一、CNN文本分类简介文本分类是NLP领域的一个重要子任务，文本分类的目标是自动的将文本打上已经定义好的标签，常见的文本分类任务有：用户评论的情感识别垃圾邮件过滤用户查询意图识别新闻分类由此看出文本分类的用途十分之广，包括知识图谱领域的关系抽取任务也是使用文本分类实现的。有很多经典的统计学习方法可以用来做文本分类，比如SVM，LR，MaxEnt等等。这些方法的一般流程是标...

一 什么是文本蕴含识别文本间的推理关系，又称为文本蕴含关系 (TextualEntailment)，作为一种基本的文本间语义联系，广泛存在于自然语言文本中。简单的来说文本蕴含关系描述的是两个文本之间的推理关系，其中一个文本作为前提（premise），另一个文本作为假设（hypothesis），如果根据前提P能够推理得出假设H，那么就说P蕴含H，记做。这跟一阶逻辑中的蕴含关系是类似的。例子：...

一、什么是dropoutdropout是解决神经网络模型过拟合的好办法，那什么是dropout呢？简而言之，它就是随机的将输入的张量中元素置为0，dropout可以理解为一种集成模型。因为我们将元素置为0后，相当于主动抛弃了一部分特征，强迫模型基于不完整的特征进行学习，而每次特征又不一样，所以避免模型过度学习某些特征，得到避免过拟合的效果。我们看如下代码感受下什么是dropout，首先我们有一..

Keras的底层库使用Theano或TensorFlow，这两个库也称为Keras的后端。无论是Theano还是TensorFlow，都需要提前定义好网络的结构，也就是常说的“计算图”。在运行前需要对计算图编译，然后才能输出结果。那这里面主要有两个问题，第一是这个图结构在运行中不能任意更改，比如说计算图中有一个隐含层，神经元的数量是100，你想动态的修改这个隐含层神经元的数量那是不可以的；第二是调