在训练机器学习模型寻找最优函数时，梯度下降（Gradient Descent）是最常用的优化（optimization）方法。在给定一组初始参数θ0θ0\theta^0时，梯度下降算法能够顺着损失函数下降最快的方向逐步逼近最低点，也就是最佳参数θ∗θ∗\theta^*的位置。那梯度下降算法为什么work呢？为什么梯度的反方向就是损失函数下降最快的方向呢？梯度下降算法解释首先回顾一下梯度下降...

给定模型与参数，我们就能对样本空间进行描述。大家很自然地会问，这个描述是不是最不好的呢？我们用什么评价标准判断这个描述的好坏呢？这篇博客将一起探讨这个问题。在统计学中，根据从总体中抽取的随机样本来估计模型未知参数的过程被称为参数估计（parameter estimation）。 常用的参数估计方法有：最小二乘估计，最大似然估计和最大后验估计，其中最小二乘估计用于函数模型的参数估计，最大似然估计和.

这一篇博客将介绍机器学习中另一个重要的任务——分类（classification），即找一个函数判断输入数据所属的类别，可以是二类别问题（是/不是），也可以是多类别问题（在多个类别中判断输入数据具体属于哪一个类别）。与回归问题（regression）相比，分类问题的输出不再是连续值，而是离散值，用来指定其属于哪个类别。分类问题在现实中应用非常广泛，比如垃圾邮件识别，手写数字识别，人脸识别，语音识别

在机器学习过程中，为了找到泛化性能最好的那个函数，我们需要确定两方面的参数：1、假设函数参数，也就是我们通常所说的www和bbb，这类参数可以通过各种最优化算法自动求得。2、模型参数，比如多项式回归中的多项式次数，规则化参数λλ\lambda等，这些参数被称为超参数，一般在模型训练之前通过手工指定（当然也可以采用网格法等算法进行寻优）。确定模型超参数的过程称为模型选择。模型选择借用吴恩...

我们在进行判断决策时，除了会依靠当前的情况，也会调动大脑中的记忆，协同分析。记忆分为长期记忆和短期记忆，短期记忆可以认为是对之前较短时间内发生事件的印象，这对于一些日常生活应用非常的有必要。比如以下两个句子中，“我将在9月10日到达南京”和“我将在9月10日离开南京”，两句话虽然都包含“南京”，但是第一句话中“南京”是目的地，第二句话中“南京”是出发地，做出这个判断的依据是“南京”之前的“到达”和

摘要随着Web技术的发展，传统万维网正向着语义Web发展。语义Web试图让Web上的信息具有语义，能够被机器理解，使得Web上信息的获取更加智能快捷。本文在全面阐述语义Web基本概念和体系结构的基础上，研究和讨论了语义Web构建过程中的关键技术，包括XML、RDF和OWL，最后对语义Web的发展应用以及面临的问题和挑战进行了讨论。关键词:语义Web；XML；RDF；OWL；知识...

现在各种机器学习、深度学习第三方库都有非常成熟高效的神经网络实现，借助这些第三方库，短短几行代码就能实现一个神经网络。但是对于一个机器学习/深度学习的入门者来说，这些代码封装得太过彻底，往往一行代码就能实现BP算法或者梯度下降算法，这导致很多初学者即使掌握了繁复的数学推导后，依旧对神经网络的工作流程没有一个直观的认知。在我看来，自己动手实现一个神经网络，包括BP算法，梯度下降算法等，是将理论应用于

最近在回看反向传播算法（Backpropagation，BP算法）时，注意到目前各大深度学习框架如Tensorflow，Theano，CNTK等都以计算图（Computational Graph）作为描述反向传播算法的基础。计算图计算图是用来描述计算的语言，是一种将计算形式化的方法。在计算图中，计算被表示成有向图，图中的每一个节点表示一个变量（variable），变量可以是标量（sca...

我们在进行判断决策时，除了会依靠当前的情况，也会调动大脑中的记忆，协同分析。记忆分为长期记忆和短期记忆，短期记忆可以认为是对之前较短时间内发生事件的印象，这对于一些日常生活应用非常的有必要。比如以下两个句子中，“我将在9月10日到达南京”和“我将在9月10日离开南京”，两句话虽然都包含“南京”，但是第一句话中“南京”是目的地，第二句话中“南京”是出发地，做出这个判断的依据是“南京”之前的“到达”和

在进行情感分析时，一个好的情感词典能够让我们的工作事半功倍，较为出名的情感词典有SentiWordNet，General Inquirer等，这篇博客将介绍另外一个出色情感词典，SenticNet。简介当谈论SenticNet时，我们正在谈论概念层面的情感分析，即通过语义和语言学来完成极性探测、情感识别等任务，而不是单纯的依靠词共现频率。SenticNet可以看作是以下其中一种：1...