前言基于计算图的反向传播详解一篇中，我们通过计算图的形式详细介绍了构建神经网络需要的层，我们可以将其视为组件，接下来我们只需要将这些组件组合起来就可以实现误差反向传播法。首先我们回顾下神经网络的学习步骤如下：从训练数据中随机选择一部分数据（mini-batch）计算损失函数关于各个权重参数的梯度将权重参数沿梯度方向进行微小的更新重复以上步骤下图为2层神经网络，图中红色表示每层的名...

回顾\quad\quad在之前的神经网络的学习过程一篇中，我们介绍了如何获取批量数据、损失函数、梯度以及梯度下降法，本篇将通过这些来实现神经网络的学习。神经网络的学习步骤1、mini-batch从训练数据中随机选出一部分数据，这部分数据称为mini-batch。学习的目标就是减小mini-batch的损失函数的值2、计算梯度减小mini-batch的损失函数的值，需要求出...

案例描述现有一批描述家庭用电情况的数据，对数据进行算法模型预测，并最终得到预测模型数据来源: 数据下载地址建议：使用python的sklearn库的linear_model中LinearRegression来获取算法使用的是：Anaconda3——python3.6代码1. 导入相应模块# 导入相应模块import pandas as pd...

一、Boosting（提升学习）随机森林在随机森林的构建过程中，由于各棵树之间是没有关系的，相对独立的；在构建的过程中，构建第m个子树的时候，不会考虑前面的m-1棵子树。那么：如果在构建第m棵子树的时候，考虑到前m-1棵子树的结果，会不会对最终结果产生有益的影响？各个决策树组成随机森林后，在形成最终结果的时候能不能给定一种既定的决策顺序呢？(也就是哪颗子树先进行决策、哪颗子树后进行...

回顾

思考什么是决策树？信息熵概念？1. 什么是决策树？决策树（Decision Tree）是一种基本的分类和回归的方法。本篇主要讨论用于分类的决策树。分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点（node）和有向边（directed edge）组成。结点有两种形式：内部结点和叶节点。内部结点：表示一个特征或属性叶节点：表示一个类1.1 决策树直观理解...

计算图计算图就是将计算过程用图形表示出来，这里所说的图形是数据结构图，通过多个节点和边表示（边是用来连接节点的）。下面我们先来通过一个简单的例子了解计算图的计算过程假设我们有如下需求：一个苹果100块钱，一个橘子150块钱消费税为10%买了2个苹果，3个橘子，一共需要支付多少钱？1、根据需要构建计算图2、在计算图上从左向右进行计算按着图中箭头方向“从左向右进行计算”称为正...

回顾感知机前面我们介绍了感知机，它是一个二分类的线性分类器，输入为特征向量，输出为实例的类别。感知机算法利用随机梯度下降法对基于误分类的损失函数进行最优化求解，得到感知机模型，即求解w,bw,bw,b。感知机算法简单易于实现，那么我们如何通过python代码来实现呢？接下来我们通过对我们给定的数据进行训练，得到最终的w,bw,bw,b，并将其可视化。Python实现impo...

一、集成学习（Ensemble Learning）\quad\quad当我们在做重要决定时，大家可能都会考虑吸取多个人而不只是一个人的意见。机器学习处理问题时，又何尝不是如此？集成学习的思想就是将若干个学习器(分类器&回归器)组合之后产生一个新学习器；一般结构如下：先产生一组“个体学习器”；再用某种策略将它们结合起来；最后通过“投票法”或者其

前言机器学习常用的数据集网址：数据集运行环境：python3.6（这里我用的anaconda的jupyter notebook）1. 对比不同模型的交叉验证的结果数据集来源：红酒数据集这份数据集包含来自3种不同起源的葡萄酒的共178条记录。13个属性是葡萄酒的13种化学成分。通过化学分析可以来推断葡萄酒的起源。值得一提的是所有属性变量都是连续变量。from skle...