现在各种机器学习、深度学习第三方库都有非常成熟高效的神经网络实现，借助这些第三方库，短短几行代码就能实现一个神经网络。但是对于一个机器学习/深度学习的入门者来说，这些代码封装得太过彻底，往往一行代码就能实现BP算法或者梯度下降算法，这导致很多初学者即使掌握了繁复的数学推导后，依旧对神经网络的工作流程没有一个直观的认知。在我看来，自己动手实现一个神经网络，包括BP算法，梯度下降算法等，是将理论应用于

最近在回看反向传播算法（Backpropagation，BP算法）时，注意到目前各大深度学习框架如Tensorflow，Theano，CNTK等都以计算图（Computational Graph）作为描述反向传播算法的基础。计算图计算图是用来描述计算的语言，是一种将计算形式化的方法。在计算图中，计算被表示成有向图，图中的每一个节点表示一个变量（variable），变量可以是标量（sca...

我们在进行判断决策时，除了会依靠当前的情况，也会调动大脑中的记忆，协同分析。记忆分为长期记忆和短期记忆，短期记忆可以认为是对之前较短时间内发生事件的印象，这对于一些日常生活应用非常的有必要。比如以下两个句子中，“我将在9月10日到达南京”和“我将在9月10日离开南京”，两句话虽然都包含“南京”，但是第一句话中“南京”是目的地，第二句话中“南京”是出发地，做出这个判断的依据是“南京”之前的“到达”和

在LDA主题模型提出后，其在很多领域都取得了很成功的应用，如生物信息、信息检索和计算机视觉等。但是诸如LDA之类的主题模型，将文档主题视为一组“flat”概率分布，一个主题与另一个主题之间没有直接关系，因此它们能够用于挖掘语料中蕴含的主题，但是无法发现主题之间的关联和层次。对于每一篇文档，主题层次是显而易见的，是一个由粗到细，由宽泛到具体逐渐层层递进，逐渐细化。于是，LDA的作者Blei教授在LD

在进行情感分析时，一个好的情感词典能够让我们的工作事半功倍，较为出名的情感词典有SentiWordNet，General Inquirer等，这篇博客将介绍另外一个出色情感词典，SenticNet。简介当谈论SenticNet时，我们正在谈论概念层面的情感分析，即通过语义和语言学来完成极性探测、情感识别等任务，而不是单纯的依靠词共现频率。SenticNet可以看作是以下其中一种：1...

ResNet论文阅读—《Deep Residual Learning for Image Recognition》作者摘要\quad越深的神经网络训练越困难。我们提出了一个残差学习框架，减轻网络训练的负担，这个网络比目前的大多数网络深得多。我们明确地将每一层重新定义为参照层的输入学习残差函数，而不是学习一个未知的函数。我们提供了全方面的实验数据表明残差网络更加容易优化，并且

现实生活中，许多任务涉及多个因素（变量），并且因素之间存在依赖关系。概率图模型（Probabilistic Graphical Model，PGM）为表示、学习这种依赖关系提供了一个强大的框架，概率图模型在形式上由图结构组成，一个节点（node）表示一个或一组随机变量，节点之间的边（edge）表示变量之间的关系。根据图是有向还是无向，概率图模型可以分为两类：第一类使用有向无环图表示变量之间的因果关

给定模型与参数，我们就能对样本空间进行描述。大家很自然地会问，这个描述是不是最不好的呢？我们用什么评价标准判断这个描述的好坏呢？这篇博客将一起探讨这个问题。在统计学中，根据从总体中抽取的随机样本来估计模型未知参数的过程被称为参数估计（parameter estimation）。 常用的参数估计方法有：最小二乘估计，最大似然估计和最大后验估计，其中最小二乘估计用于函数模型的参数估计，最大似然估计和.

Jupyter Notebook是一款非常好用的基于浏览器的交互式的代码编写、运行测试以及富媒体（rich media）输出的工具。Jupyter Notebook本质上是一个notebook，并不具备代码执行能力，需要借助其他代码执行内核才能完成代码执行，如执行Python代码的IPython。因此，我们自然而然会想能不能为Jupyter Notebook配置多个kernel呢？本篇博客将从IP

最近接触到一款强大的数据挖掘软件平台RapidMiner，RapidMiner是世界领先的数据挖掘解决方案，通过在图像化界面拖拽建模，轻松实现了数据准备、机器学习和预测模型部署，无需编程，简单易用。下图展示了其工作流程：其具有如下优势：统一的平台。一个平台，一个用户界面，一个系统，支持从数据准备，模型部署到正在进行的模型管理的完整工作流程。可视化工作流设计。 快速易学和方便使用的拖放方...