在之前的博客中，我主要介绍了embedding用于处理类别特征的应用，其实，在学术界和工业界上，embedding的应用还有很多，比如在推荐系统中的应用。本篇博客就介绍了如何利用embedding来构建一个图书的推荐系统。本文主要译自《Building a Recommendation System Using Neural Network Embeddings》，完整详细的代码见官方GitH..

在前面我们讲述了DNN的模型与前向反向传播算法。而在DNN大类中，卷积神经网络(Convolutional Neural Networks，以下简称CNN)是最为成功的DNN特例之一。CNN广泛的应用于图像识别，当然现在也应用于NLP等其他领域。本文我们就对CNN的模型结构做一个总结。然后在此基础上，介绍CNN的前向传播算法和反向传播算法。在学习CNN前，推荐大家先学习DNN的知识。如果不熟悉..

异常检测 (anomaly detection)，又被称为“离群点检测” (outlier detection)，是机器学习研究领域中跟现实紧密联系、有广泛应用需求的一类问题。但是，什么是异常，并没有标准答案，通常因具体应用场景而异。大多数文献对异常的定义虽然笼统，但其实暗含了认定“异常”的两个标准或者说假设：异常数据跟样本中大多数数据不太一样。异常数据在整体数据样本中占比比较小。为了刻...

在之前的博客中，我主要介绍了embedding用于处理类别特征的应用，其实，在学术界和工业界上，embedding的应用还有很多，比如在推荐系统中的应用。本篇博客就介绍了如何利用embedding来构建一个图书的推荐系统。本文主要译自《Building a Recommendation System Using Neural Network Embeddings》，完整详细的代码见官方GitH..

文章目录一、深度神经网络（DNN）模型1.1 从感知机到神经网络1.2 DNN的基本结构二、DNN前向传播算法2.1 DNN前向传播算法数学原理2.2 DNN前向传播算法2.3 DNN前向传播算法小结三、DNN反向传播算法3.1 DNN反向传播算法要解决的问题3.2 DNN反向传播算法的基本思路3. 3 DNN反向传播算法过程3.4 DNN反向传播算法小结参考文献一、深度神经网络（DNN）模型..

在《深度学习（五）：循环神经网络(RNN)模型与前向反向传播算法》中，我们总结了对RNN模型做了总结。由于RNN也有梯度消失的问题，因此很难处理长序列的数据，大牛们对RNN做了改进，得到了RNN的特例LSTM（Long Short-Term Memory），它可以避免常规RNN的梯度消失，因此在工业界得到了广泛的应用。下面我们就对LSTM模型做一个总结。一、从RNN到LSTM在RNN模型里，我..

prophet是Facebook开源的一款时序预测的工具。地址。在Mac和linux下比较好安装，在Windows下安装就比较坑了。所以，记录以下自己安装成功的过程。我的环境是win10 64位，python 3.6.1第一步：安装PyStanfbprophet依赖于PyStan，所以首先要安装PyStan库。我用的是Anaconda，直接pip install pystan...

一 、MAP(Mean Average Precision)：单个主题的平均准确率是每篇相关文档检索出后的准确率的平均值。主集合的平均准确率(MAP)是每个主题的平均准确率的平均值。MAP 是反映系统在全部相关文档上性能的单值指标。系统检索出来的相关文档越靠前(rank 越高)，MAP就可能越高。如果系统没有返回相关文档，则准确率默认为0。只有1和0，1代表相关，0代表不相关。例如：假...

Normalization, 即标准化, 和普通的数据标准化类似, 是将分散的数据统一的一种做法, 也是优化神经网络的一种方法。Normalization 可以将数据统一规格, 能让机器学习更容易学习到数据之中的规律。在深度学习中，Normalization已经成为了标准技术。2015 年Google首先提出了Batch Normalization（BN），源论文地址。自 BN 之后， Laye.

平时在一些数据处理中，经常会把原始数据取对数后进一步处理。之所以这样做是基于对数函数在其定义域内是单调增函数，取对数后不会改变数据的相对关系，取对数作用主要有：1. 缩小数据的绝对数值，方便计算。例如，每个数据项的值都很大，许多这样的值进行计算可能对超过常用数据类型的取值范围，这时取对数，就把数值缩小了，例如TF-IDF计算时，由于在大规模语料库中，很多词的频率是非常大的数字。2. 取对数...