文章目录一、深度神经网络（DNN）模型1.1 从感知机到神经网络1.2 DNN的基本结构二、DNN前向传播算法2.1 DNN前向传播算法数学原理2.2 DNN前向传播算法2.3 DNN前向传播算法小结三、DNN反向传播算法3.1 DNN反向传播算法要解决的问题3.2 DNN反向传播算法的基本思路3. 3 DNN反向传播算法过程3.4 DNN反向传播算法小结参考文献一、深度神经网络（DNN）模型..

在《深度学习（五）：循环神经网络(RNN)模型与前向反向传播算法》中，我们总结了对RNN模型做了总结。由于RNN也有梯度消失的问题，因此很难处理长序列的数据，大牛们对RNN做了改进，得到了RNN的特例LSTM（Long Short-Term Memory），它可以避免常规RNN的梯度消失，因此在工业界得到了广泛的应用。下面我们就对LSTM模型做一个总结。一、从RNN到LSTM在RNN模型里，我..

prophet是Facebook开源的一款时序预测的工具。地址。在Mac和linux下比较好安装，在Windows下安装就比较坑了。所以，记录以下自己安装成功的过程。我的环境是win10 64位，python 3.6.1第一步：安装PyStanfbprophet依赖于PyStan，所以首先要安装PyStan库。我用的是Anaconda，直接pip install pystan...

一 、MAP(Mean Average Precision)：单个主题的平均准确率是每篇相关文档检索出后的准确率的平均值。主集合的平均准确率(MAP)是每个主题的平均准确率的平均值。MAP 是反映系统在全部相关文档上性能的单值指标。系统检索出来的相关文档越靠前(rank 越高)，MAP就可能越高。如果系统没有返回相关文档，则准确率默认为0。只有1和0，1代表相关，0代表不相关。例如：假...

Normalization, 即标准化, 和普通的数据标准化类似, 是将分散的数据统一的一种做法, 也是优化神经网络的一种方法。Normalization 可以将数据统一规格, 能让机器学习更容易学习到数据之中的规律。在深度学习中，Normalization已经成为了标准技术。2015 年Google首先提出了Batch Normalization（BN），源论文地址。自 BN 之后， Laye.

平时在一些数据处理中，经常会把原始数据取对数后进一步处理。之所以这样做是基于对数函数在其定义域内是单调增函数，取对数后不会改变数据的相对关系，取对数作用主要有：1. 缩小数据的绝对数值，方便计算。例如，每个数据项的值都很大，许多这样的值进行计算可能对超过常用数据类型的取值范围，这时取对数，就把数值缩小了，例如TF-IDF计算时，由于在大规模语料库中，很多词的频率是非常大的数字。2. 取对数...

在《深度学习（一）：DNN前向传播算法和反向传播算法》中，我们对DNN的前向反向传播算法的使用做了总结。里面使用的损失函数是均方差，而激活函数是sigmoid。实际上DNN可以使用的损失函数和激活函数不少。这些损失函数和激活函数如何选择呢？下面我们就对DNN损失函数和激活函数的选择做一个总结。一、 均方差损失函数+sigmoid激活函数的问题在讲反向传播算法时，我们用均方差损失函数和Sigmo..

在之前的博客中，我主要介绍了embedding用于处理类别特征的应用，其实，在学术界和工业界上，embedding的应用还有很多，比如在推荐系统中的应用。本篇博客就介绍了如何利用embedding来构建一个图书的推荐系统。本文主要译自《Building a Recommendation System Using Neural Network Embeddings》，完整详细的代码见官方GitH..

在《（一）理解word2vec：原理篇》中，我已经介绍了word2vec的相关应用和原理。在这篇博客中，我主要介绍word2vec的实践。本篇博客的基础实践代码仍然参考刘新建老师的博客，在他文章的基础上，我又扩展了一些功能。我用的实现word2vec的包是gensim（官方github）。gensim是一款开源的第三方Python工具包，用于从原始的非结构化的文本中，无监督地学习到文本隐层...

自己之前学习了一波word2vec的词向量&&神经网络的embedding，关于这2者的原理和实践，可以参看我之前的博客：利用神经网络的embedding层处理类别特征（一）理解word2vec：原理篇（二）理解word2vec：实践篇这篇文章的主题是分析word2vec的词向量&&神经网络的embedding层的关系，以及在实际中，