决策树决策树（decision tree）是一个树结构（可以是二叉树或非二叉树）,一种依托于策略抉择而建立起来的树。其每个非叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策结果.熵在介绍决策树算法之...

回归:1.平均绝对误差MAE(Mean Absloute Error)又被称作l1范数损失(l1-norm loss):MAE(y,y^)=1nsamples∑i=1nsamples∣yi−y^i∣{\rm MAE}(y, \hat{y})=\frac{1}{n_{\rm samples}}\sum\limits_{i=1}^{n_{\rm samples}}|y_i-\hat{y}_i|M...

LR:softmax:def soft_max(data, K, alpha, lamda):n = len(data[0]) - 1 #样本维度w = np.zeros((K, n)) #当前权值,每个类都有自己的权值wNew = np.zeros((K, n)) #临时权值:迭代过程中的权值for times in range(1000):...

本文主要提供源码的一些思路.具体源码可查看知乎:知乎简单来说随机森林就是生成N颗CART树,通过bootstrap的方式,有放回可重复的从原始数据集M里选出一部分数据m,总共生成N份这样的数据给N颗CART树去做训练,同时设定每棵树选用数据集中的最大的特征数,也是可重复的选取.最后的结果通过投票表决决定最终结果.代码如下(没有运行,只是看了下思路):# -*- coding: utf-8 -...

详细的决策树（C4.5, ID3, CART）介绍和公式在前面的博文：决策树详解本文主要是对CART决策树的实现细节做代码展示,代码有比较详细的注解.数据集有四个特征,最后一个为label–(SepalLength, SepalWidth, PetalLength, PetalWidth, Name),总共150条样本,每个类别150条,Name为(setosa, versicolor,v...

PCA 的基本实现过程:计算平均值，然后所有的样本减去对应的均值，求出方差计算整个样本的协方差矩阵计算协方差的特征值和特征矩阵将特征值按照从到到小的顺序排列，选择其中较大的k个，然后将其对应的k个特征向量分别作为列向量组成特征向量矩阵。原始数据乘以组成的特征向量矩阵，得到样本点在选取的特征向量的投影。...

SSD结构图精华版本：SSD结构图详细版本：SSD采用了特征金字塔结构进行检测，即检测时利用了conv4_3，conv_7（FC7），conv6_2，conv7_2，conv8_2，conv9_2这些大小不同的feature maps，在多个feature maps上同时进行softmax分类和位置回归。SSD多尺度特征映射细节：SSD算法中使conv4_3,conv_7，conv...

SSD结构图精华版本：SSD结构图详细版本：SSD采用了特征金字塔结构进行检测，即检测时利用了conv4_3，conv_7（FC7），conv6_2，conv7_2，conv8_2，conv9_2这些大小不同的feature maps，在多个feature maps上同时进行softmax分类和位置回归。SSD多尺度特征映射细节：SSD算法中使conv4_3,conv_7，conv...

核函数:高斯核函数:根据泰勒公式，e的指数函数可以写成无穷维的多项式函数， 高斯函数中有e的指数函数，通过推导可以得出两个e的指数函数相乘的形式。进而高斯核函数就可以表示为无穷维空间的多项式内积了.核函数的价值在于它虽然也是将特征进行从低维到高维的转换，但核函数是事先在低维上进行计算，而将实质上的分类效果表现在了高维上，也就如上文所说的避免了直接在高维空间中的复杂计算。...

本文主要提供源码的一些思路.具体源码可查看知乎:知乎简单来说随机森林就是生成N颗CART树,通过bootstrap的方式,有放回可重复的从原始数据集M里选出一部分数据m,总共生成N份这样的数据给N颗CART树去做训练,同时设定每棵树选用数据集中的最大的特征数,也是可重复的选取.最后的结果通过投票表决决定最终结果.代码如下(没有运行,只是看了下思路):# -*- coding: utf-8 -...