RUSBoost是一个非常简单的针对不平衡数据集的算法，算法如其名，就是RUS+BoostRUS（random undersampling）：随机欠抽样，随机从数据集中抽取一定量的多数类样本和少数类组成平衡分布的训练数据集Boost：指的是 Adaboost.M2 算法RUSBoo...

前言上篇介绍了Spark的Mllib机器学习工具ML扩展中的Pipeline，并就如何自定义Pipeline Stage模型中的Transformer模型进行讨论。本篇我们讨论Pipeline Stage的另一类模型Estimator，并基于Estimator实现异常点检测，扩展Spar...

前言Spark的Mllib机器学习工具包括两个扩展，一是Mllib，其算法都是围绕RDD这个数据结构来实现的；二是ML，其基于Pipeline提供了一整套建立在DataFrame上的高级API，将每一个操作定义为一个Stage，能够帮助用户创建和优化机器学习流程。本文关注ML扩展中的Pipe...