深度学习——循环神经网络RNN公式推导1、循环神经网络引入1.1 从传统网络到循环网络对于传统的神经网络，在我们之前介绍的传统的神经网络中，主要包含输入层、隐藏层、输出层三个部分。其基本的图示如下：X表示输入层的向量，H表示隐藏层的向量，O表示输出层的向量。W表示从输入层到隐藏层的权重矩阵，V表示从隐藏层到输出层的权重矩阵。其中，每一层可以有多个神经元。每一层神经元的个数代表的是每一层的...

LTSM神经网络和对话机器人实践

深度学习——最常见的三种激活函数1 tanh激活函数1.1 函数原型tanh(x)=ex−e−xex+e−xtanh(x) = \frac{e^x-e^{-x}}{e^x+e^{-x}}tanh(x)=ex+e−xex−e−x​1.2 函数图像1.3 函数导数tanh′(x)=1−tanh2(x)tanh'(x) = 1 - tanh^2(x)tanh′(x)=1−tanh2(x)...

深度学习——误差计算与梯度推导1、均方误差(MSE)1.1 均方误差(MSE)概述均方误差是一种常见的损失函数，一般在回归问题中比较常见，其基本公式为:MSE=1C∑i=1L(yri−yi)2MSE=\frac{1}{C}∑_{i=1}^L(y_{ri}-y_i)^2MSE=C1​i=1∑L​(yri​−yi​)2其中，C是一个超参数，为了便于求导，一般情况下取C=2。yriy_{ri}...

机器学习——概率分类(一)朴素贝叶斯模型

机器学习——支持向量机(SVM)算法1、线性SVM算法1.1 算法引入首先，我们给定一张图：在上的图示中".“代表正例(+1)，”。"代表反例(-1)，根据两种样本的分布，我们可以设定一条直线wx+b=0作为不同类样本的分割线，在直线的上方表示的是正例，直线的下方表示的是反例。不难发现，我们只要稍微的对直线的斜率进行改变，就可以生成一条新的直线来分割样本点。如下图所示：根据图示，我们...

深度学习——循环神经网络GRU公式推导0、注意在整篇的文章中，无论是输入的X向量，还是隐藏层得到的S向量，这些都是列向量1、从RNN到GRU在之前的文章中，我们具体推导了循环神经网络RNN的前向和反向传播过程，具体细节可以参考深度学习——循环神经网络RNN公式推导这篇文章。下面，我们开始介绍RNN的一个变形结构GRU神经网络。我们首先简单的回顾一下RNN神经网络的结构，以及一个RNN隐藏...

机器学习实践——KNN算法1、基本准备1.1 sklearn.neighbors.KNeighborsClassifier类1.1.1 基本参数说明n_neighbors： K近邻算法中的k值，默认值为5.weight：基于权重的KNN算法的权重计算方式，参数值包括1、‘uniform’，所有的节点的权重相同。2、‘distance’：按照距离来取权重值。3、[callable]，用户...

决策树(ID3)算法与示例学习1、决策树(ID3)算法1.1 算法概述决策树算法是针对与具有多种属性标签的数据一种机器学习的算法。通过对于数据不同属性的利用来递归地学习构造出一种树形结构。根据每一条数据的各个属性的属性值，沿着决策树的结构向下走，最终找到该数据所属的列别。...

深度学习——正则化(一)1 正则化的引入1.1 正则化的基本概念机器的学习的目标在真实的情况中性能最好，一般情况下，我们使用训练集来训练学习算法，并采用损失函数来度量模型的性能。我们将模型在测试集(一般认为是真实情况)的误差称为泛化误差。在训练集上的误差称为训练误差。根据机器学习的最终目标，我们想要的是泛化误差最小。在机器学习中，有很多的策略被设计用来减少泛化误差，这种策略统一称之为正则化。...