机器学习——概率分类(一)朴素贝叶斯模型

机器学习——支持向量机(SVM)算法1、线性SVM算法1.1 算法引入首先，我们给定一张图：在上的图示中".“代表正例(+1)，”。"代表反例(-1)，根据两种样本的分布，我们可以设定一条直线wx+b=0作为不同类样本的分割线，在直线的上方表示的是正例，直线的下方表示的是反例。不难发现，我们只要稍微的对直线的斜率进行改变，就可以生成一条新的直线来分割样本点。如下图所示：根据图示，我们...

深度学习——循环神经网络GRU公式推导0、注意在整篇的文章中，无论是输入的X向量，还是隐藏层得到的S向量，这些都是列向量1、从RNN到GRU在之前的文章中，我们具体推导了循环神经网络RNN的前向和反向传播过程，具体细节可以参考深度学习——循环神经网络RNN公式推导这篇文章。下面，我们开始介绍RNN的一个变形结构GRU神经网络。我们首先简单的回顾一下RNN神经网络的结构，以及一个RNN隐藏...

机器学习实践——KNN算法1、基本准备1.1 sklearn.neighbors.KNeighborsClassifier类1.1.1 基本参数说明n_neighbors： K近邻算法中的k值，默认值为5.weight：基于权重的KNN算法的权重计算方式，参数值包括1、‘uniform’，所有的节点的权重相同。2、‘distance’：按照距离来取权重值。3、[callable]，用户...

决策树(ID3)算法与示例学习1、决策树(ID3)算法1.1 算法概述决策树算法是针对与具有多种属性标签的数据一种机器学习的算法。通过对于数据不同属性的利用来递归地学习构造出一种树形结构。根据每一条数据的各个属性的属性值，沿着决策树的结构向下走，最终找到该数据所属的列别。...

深度学习——正则化(一)1 正则化的引入1.1 正则化的基本概念机器的学习的目标在真实的情况中性能最好，一般情况下，我们使用训练集来训练学习算法，并采用损失函数来度量模型的性能。我们将模型在测试集(一般认为是真实情况)的误差称为泛化误差。在训练集上的误差称为训练误差。根据机器学习的最终目标，我们想要的是泛化误差最小。在机器学习中，有很多的策略被设计用来减少泛化误差，这种策略统一称之为正则化。...

深度学习——误差计算与梯度推导1、均方误差(MSE)1.1 均方误差(MSE)概述均方误差是一种常见的损失函数，一般在回归问题中比较常见，其基本公式为:MSE=1C∑i=1L(yri−yi)2MSE=\frac{1}{C}∑_{i=1}^L(y_{ri}-y_i)^2MSE=C1​i=1∑L​(yri​−yi​)2其中，C是一个超参数，为了便于求导，一般情况下取C=2。yriy_{ri}...

神经网络基础——CNN神经网络1、CNN概述1.1导论CNN神经网络，即卷积神经网络，其广泛应用于图像处理问题上和其他的一些问题上。我们下面从一张图像开始，对于一张图像而言，其是由多个像素所组成的，即图像可以看做是由像素点矩阵所构成的。我们将每一个像素看做是图像的一个特征，那么整个图像就是由这些特征矩阵所构成的。如果我们能够设计出一种神经网络，这种网络能够学习到图像的特征，那么我们就可...

深度学习——最常见的三种激活函数1 tanh激活函数1.1 函数原型tanh(x)=ex−e−xex+e−xtanh(x) = \frac{e^x-e^{-x}}{e^x+e^{-x}}tanh(x)=ex+e−xex−e−x​1.2 函数图像1.3 函数导数tanh′(x)=1−tanh2(x)tanh'(x) = 1 - tanh^2(x)tanh′(x)=1−tanh2(x)...

NLP——文本分类模型（HAN）（三）1、引入1. NLP——文本分类模型（一）2. NLP——文本分类模型(二)在之前的文章中，我们介绍了基于CNN机制是如何应用于文本分类。近些年来Attention机制的兴起引起了巨大的关注，由于其简单，高效，容易扩展的机制收到了广泛的追捧。同时，对于线性Attention机制的改进也层出不穷，下面我们来介绍一个利用Attention机制进行文本分类的...