神经网络基础——CNN神经网络1、CNN概述1.1导论CNN神经网络，即卷积神经网络，其广泛应用于图像处理问题上和其他的一些问题上。我们下面从一张图像开始，对于一张图像而言，其是由多个像素所组成的，即图像可以看做是由像素点矩阵所构成的。我们将每一个像素看做是图像的一个特征，那么整个图像就是由这些特征矩阵所构成的。如果我们能够设计出一种神经网络，这种网络能够学习到图像的特征，那么我们就可...

机器学习——主成分分析(PCA)1 从KNN算法到PCA1.1 KNN算法引入KNN算法，也称为K近邻算法，是一种非常常用的监督学习方法，其核心思想十分简单，给定某个训测试样本，基于某种距离计算方法来计算与其最近的K个邻居，然后根据K个邻居的分类来决定测试样本的分类。 K近邻算法特点包括以下几个：无需进行事先的模型训练。训练的过程就是将训练样本保存起来。因为没有训练过程，所以预测的过程...

深度学习——最常见的三种激活函数1 tanh激活函数1.1 函数原型tanh(x)=ex−e−xex+e−xtanh(x) = \frac{e^x-e^{-x}}{e^x+e^{-x}}tanh(x)=ex+e−xex−e−x​1.2 函数图像1.3 函数导数tanh′(x)=1−tanh2(x)tanh'(x) = 1 - tanh^2(x)tanh′(x)=1−tanh2(x)...

NLP——文本分类模型（HAN）（三）1、引入1. NLP——文本分类模型（一）2. NLP——文本分类模型(二)在之前的文章中，我们介绍了基于CNN机制是如何应用于文本分类。近些年来Attention机制的兴起引起了巨大的关注，由于其简单，高效，容易扩展的机制收到了广泛的追捧。同时，对于线性Attention机制的改进也层出不穷，下面我们来介绍一个利用Attention机制进行文本分类的...

LTSM神经网络和对话机器人实践

决策树(ID3)算法与示例学习1、决策树(ID3)算法1.1 算法概述决策树算法是针对与具有多种属性标签的数据一种机器学习的算法。通过对于数据不同属性的利用来递归地学习构造出一种树形结构。根据每一条数据的各个属性的属性值，沿着决策树的结构向下走，最终找到该数据所属的列别。...

深度学习——循环神经网络RNN公式推导1、循环神经网络引入1.1 从传统网络到循环网络对于传统的神经网络，在我们之前介绍的传统的神经网络中，主要包含输入层、隐藏层、输出层三个部分。其基本的图示如下：X表示输入层的向量，H表示隐藏层的向量，O表示输出层的向量。W表示从输入层到隐藏层的权重矩阵，V表示从隐藏层到输出层的权重矩阵。其中，每一层可以有多个神经元。每一层神经元的个数代表的是每一层的...

1、BP算法引入1.1 网络基本结构在之前的文章深度学习——神经网络前向传播与反向求导过程中，我们简单的构建了一个简单的神经网络，描述了其前向传播过程和反向求导的过程。之前的描述的网络结构十分简单，仅仅包含一层的输入层，一层的隐藏层和一层的输出层，并且输出层是一个标量的输出。通常情况下，一个完整的神经网络是要包含多层隐藏层的。下面，我们就具体来展示一下。上图是具有两层隐藏层的神经网络结构。...

神经网络基础和反向传播(BP)算法1. 感知机算法1.1 单层感知机单层感知机：以不同的n个实数作为输入，计算这些实数的线性组合，与实现设定好的阈值进行比较，高于设定的阈值，输出1，否则输出-1(输出的结果可以根据实际进行设定) 。下面是一个单层感知机的图示。上图中，x1,x2,x3,x4是单层感知机的输入，w1,w2,w3,w4是输入在线性组合时候的权重。求和的过程为：∑i=04wix...

深度学习——基于Numpy实现GRUCell和GRU原理文章链接：深度学习——循环神经网络GRU公式推导1. GRUCell单元构建#encoding=utf-8import numpy as npdef sigmoid(x):return 1/(1+np.exp(-x))def tanh(x):return (np.exp(x)-np.exp(-x))/(np.e...