一、前述在 Kaggle 的很多比赛中，我们可以看到很多 winner 喜欢用 xgboost，而且获得非常好的表现，今天就来看看 xgboost 到底是什么以及如何应用。Gradient boosting 是 boosting 的其中一种方法，所谓 Boosting ，就是将弱分离器 f_i(x) 组合起来形成强分类器 F(x) 的一种方法。二、具体1、举例说明：在tree1...

一、背景前言先看下人眼看到物体的情况：眼睛里一个神经元，它会盯着图像，但它并不会盯着图像的每一个像素，它只会盯着图像的一部分。盯的一部分，称为叫感受野，也就是感受的一部分。另外一个神经元它又会盯着另外的一部分。但是它们有重叠。这就相当于一些神经元看线， 另外一些神经元会看线的方向，然后组合底层的一些图案，所以底层看到的这个线、方向组合成一些更大的感受野，然后组成一些基础图像，基础图像再...

一、前述调优对于模型训练速度，准确率方面至关重要，所以本文对神经网络中的调优做一个总结。二、神经网络超参数调优1、适当调整隐藏层数对于许多问题，你可以开始只用一个隐藏层，就可以获得不错的结果，比如对于复杂的问题我们可以在隐藏层上使用足够多的神经元就行了， 很长一段时间人们满足了就没有去探索深度神经网络，但是深度神经网络有更高的参数效率，神经元个数可以指数倍减少，并且训练起来也更快...

一、前述回归问题求解时梯度下降由于样本数据的多样性，往往对模型有很大的影响，所以需要对样本数据做一些优化二、归一化1、背景各个维度的输入如果在数值上差异很大，那么会引起正确的w在各个维度上数值差异很大。这样找寻w的时候，对各个维度的调整基本上是按照同一个数量级来进行调整的。因此需要归一化。2、归一化方法• 归一化的一种方法：最大值最小值法• 缺点是抗干扰能力弱• 受离群...

第十六节逻辑回归做分类的原因(1)从本节开始，我们讲解一个新的算法，逻辑回归。多元性回归是做回归的，它真的是回归这个领域里面的一个算法。对于有监督机器学习来说，除了做回归还可以做分类。逻辑回归是一个分类的算法。回归跟分类它俩都是有监督的机器学习，有什么区别呢？区别在于y。...

一、前述谱聚类（spectral clustering）是一种基于图论的聚类方法，主要思想是把所有的数据看做空间中的点，这些点之间可以用边连接起来。距离较远（或者相似度较低）的两个点之间的边权重值较低，而距离较近（或者相似度较高）的两个点之间的边权重值较高，通过对所有数据点组成的图进行切图，让切图后不同的子图间边权重和尽可能的低，而子图内的边权重和尽可能的高，从而达到聚类的目的。二...

一、前述Em算法是解决数学公式的一个算法，是一种无监督的学习。EM算法是一种解决存在隐含变量优化问题的有效方法。EM算法是期望极大(Expectation Maximization)算法的简称，EM算法是一种迭代型的算法，在每一次的迭代过程中，主要分为两步：即求期望(Expectation)步骤和最大化(Maximization)步骤。二、具体1、高斯混合模型所谓混...

一、前述CNN和RNN几乎占据着深度学习的半壁江山，所以本文将着重讲解CNN+RNN的各种组合方式，以及CNN和RNN的对比。二、CNN与RNN对比1、CNN卷积神经网络与RNN递归神经网络直观图2、相同点：2.1. 传统神经网络的扩展。2.2. 前向计算产生结果，反向计算模型更新。2.3. 每层神经网络横向可以多个神经元共存,纵向可以有多层神经网...

一、前述NumPy（Numerical Python的缩写）是一个开源的Python科学计算库。使用NumPy，就可以很自然地使用数组和矩阵。 NumPy包含很多实用的数学函数，涵盖线性代数运算、傅里叶变换和随机数生成等功能。这个库的前身是1995年就开始开发的一个用于数组运算的库。经过了长时间的发展，基本上成了绝大部分Python科学计算的基础包，当然也包括所有提供Python接口的深度...

一、前述当多个特征属性之间存在着某种相关关系的时候，使用朴素贝叶斯算法就没法解决这类问题，那么贝叶斯网络就是解决这类应用场景的一个非常好的算法。一般而言，贝叶斯网络的有向无环图中的节点表示随机变量，可以是可观察到 的变量，或隐变量，未知参数等等。连接两个节点之间的箭头代表两个随机变量之间的因果关系(也就是这两个随机变量之间非条件独立)，如果两个节点间以一个单箭头连接在一起，表示其中一个节点是"..