计算图计算图就是将计算过程用图形表示出来，这里所说的图形是数据结构图，通过多个节点和边表示（边是用来连接节点的）。下面我们先来通过一个简单的例子了解计算图的计算过程假设我们有如下需求：一个苹果100块钱，一个橘子150块钱消费税为10%买了2个苹果，3个橘子，一共需要支付多少钱？1、根据需要构建计算图2、在计算图上从左向右进行计算按着图中箭头方向“从左向右进行计算”称为正...

前言\quad\quad为了能够解决感知机人工设定权重的工作，即确定合适的、能符合预期的输入与输出的权重，神经网络便出现了，神经网络的一个重要的性质是它可以自动地从数据中学习得到合适的权重参数。神经网络\quad\quad如上图，我们把最左边的一列称为输入层，最右边的称为输出层，中间的称为中间层（也可称为隐藏层），一般情况下，我们通常将输入层、隐藏层、输出层的总数减去1后的数量来表示神经网...

先思考什么是过拟合和欠拟合？过拟合与欠拟合会带来什么样的后果？如何解决？过拟合与欠拟合通常，我们把学习器的实际预测输出与样本的真实输出之间的差异称为“误差（error）”，学习器在训练集上的误差称为“训练误差”或“经验误差”，在新的样本上的误差称为“泛化误差”。显然，我们希望得到泛化误差小的学习器。在很多情况下，我们可以得到一个训练误差很小，在训练集上表现很好的学习器，甚至...

回顾回归分析之线性回归 中我们得到了线性回归的损失函数为：J(θ)=12∑i=1m(hθ(x(i))−y(i))2J(\theta) = \frac{1}{2}\sum_{i=1}^m\bigg(h_\theta(x^{(i)}) - y^{(i)}\bigg)^2J(θ)=21​i=1∑m​(hθ​(x(i))−y(i))2θ\thetaθ 的求解够将损失函数用向量的形式表示：J(...

约会网站的配对效果案例简介某人在约会网站上寻找适合自己的对象，约会网站会推荐不同的人选，经过一番总结，发现这些人大致可以分为三类：不喜欢的人、魅力一般的人、极具魅力的人但是，约会网址推荐的人选仍然不能归入到恰当的类别中。这时就希望有个分类软件可以更好地帮助她将推荐的对象划分到确切的分类中，于是收集了一些网站未曾记录的数据信息，她认为这些数据更有助于推荐对象的归类。数据导入数据文件：...

前言\quad\quad前面，我们介绍了分类决策树的实现，以及用 sklearn 库中的 DecisionTreeClassifier 和 DecisionTreeRegressor 类实现了分类决策树和回归决策树的一些案例。具体可见：分类决策树与回归决策树其中，我们也对决策树的不同深度对模型的欠拟合和过拟合的影响进行了比较。本篇源代码可见：Github一、欠拟合与过拟合\quad...

前言基于计算图的反向传播详解一篇中，我们通过计算图的形式详细介绍了构建神经网络需要的层，我们可以将其视为组件，接下来我们只需要将这些组件组合起来就可以实现误差反向传播法。首先我们回顾下神经网络的学习步骤如下：从训练数据中随机选择一部分数据（mini-batch）计算损失函数关于各个权重参数的梯度将权重参数沿梯度方向进行微小的更新重复以上步骤下图为2层神经网络，图中红色表示每层的名...

前言\quad\quad前面，我们介绍了分类决策树的实现，以及用 sklearn 库中的 DecisionTreeClassifier 和 DecisionTreeRegressor 类实现了分类决策树和回归决策树的一些案例。具体可见：分类决策树与回归决策树其中，我们也对决策树的不同深度对模型的欠拟合和过拟合的影响进行了比较。本篇源代码可见：Github一、欠拟合与过拟合\quad...

前言此文介绍了SMOSMOSMO算法，以及前面我们介绍了支持向量机的理论，下面我们就该通过代码来实现了。由于SMOSMOSMO算法不易于理解，为了让大家正确理解它的工作流程，我们先从简化版的SMOSMOSMO算法开始讨论。应用简化版SMOSMOSMO算法处理小规模数据集通过之前的学习，我们知道SMOSMOSMO算法中的外循环确定要优化的αα\alpha，而简化版的会跳过这一部分，首...

前言当训练数据集线性可分或者近似线性可分时，前面我们在文一以及文二已经介绍了线性可分支持向量机和线性支持向量机。但是有时训练数据集是非线性的，这时就可以使用非线性支持向量机。非线性支持向量机的主要特点就是利用了核技巧。非线性分类问题如上面左图，是一个分类问题，图中实心点为正类，空心点为负类；我们很容易看出，无法用直线（线性模型）将正负实例正确分开，但是可以通过椭圆曲线（...