随机森林算法的理论知识　　随机森林是一种有监督学习算法，是以决策树为基学习器的集成学习算法。随机森林非常简单，易于实现，计算开销也很小，但是它在分类和回归上表现出非常惊人的性能，因此，随机森林被誉为“代表集成学习技术水平的方法”。一，随机森林的随机性体现在哪几个方面？1，数据集的随机选取　　从原始的数据集中采取有放回的抽样（bagging），构造子数据集，子数据集的数据量是和原始数...

一、简介贝叶斯优化用于机器学习调参由J. Snoek(2012)提出，主要思想是，给定优化的目标函数(广义的函数，只需指定输入和输出即可，无需知道内部结构以及数学性质)，通过不断地添加样本点来更新目标函数的后验分布(高斯过程,直到后验分布基本贴合于真实分布。简单的说，就是考虑了上一次参数的信息**，从而更好的调整当前的参数。他与常规的网格搜索或者随机搜索的区别是：贝叶斯调参采用高斯过程...

有时启动应用时会发现端口已经被占用，这时我们希望知道是哪个应用/进程在使用该端口，及如何kill它。检查端口被哪个进程占用netstat -lnp|grep 80008000请换为你需要的端口，如：80如下图，找到进程号：11100查看进程的详细信息ps 11100 杀掉进程kill -9 11100 强制杀掉编号为11100的进程...

imbalanced-learnimbalanced-learn is a python package offering a number of re-sampling techniques commonly used in datasets showing strong between-class imbalance. It is compatible withscikit-learn...

（1）现有的研究处理类不平衡的方法要么改变算法本身，要么把不同类的错误分类成本纳入分类过程，要么修改用于训练分类器的数据。重新采样训练数据可以过采样或欠采样。过采样技术要么重复现有样本，要么生成人工数据。SMOTE算法被提出用来避免随机过采样带来的过拟合问题。SMOTE不仅仅复制现有的观察结果，而是生成样本。具体来说，SMOTE随机选择的少数类别样本及其邻近的少数类别样本之间进行线性插值。SM..

前言XGBoost（eXtreme Gradient Boosting）全名叫极端梯度提升，XGBoost是集成学习方法的王牌，在Kaggle数据挖掘比赛中，大部分获胜者用了XGBoost，XGBoost在绝大多数的回归和分类问题上表现的十分顶尖，本文较详细的介绍了XGBoost的算法原理。目录1. 最优模型的构建方法2. Boosting的回归思想3. XGBoost的目标函...