数据挖掘项目——金融反欺诈前言一、数据集获取二、特征工程1、读数据2、去除特殊字符3、删除属性4、提取标签三、构建模型前言该项目来自北风网，模型搭建很简单，该篇记录过程总结套路。一、数据集获取https://www.lendingclub.com/info/demand-and-credit-profile.action二、特征工程首先声明，该项目使用到的特征处理手段十分简单，但结果却...

数据挖掘项目——新零售无人智能售货机商务数据分析一、 原始数据分析二、数据清洗1、处理附件12、处理附件2三、数据分析1、描述性分析2、数据可视化结果如下：一、 原始数据分析原数据中包含两个附件annex_1和annex_2。其中annex_1中有数据：订单号、设备ID、应付金额、实际金额、商品、支付时间、地点、状态、提现。具体如下：#原始数据detail = pd.read_csv('...

机器学习——特征工程之数据相关性前言图表相关性协方差和协方差矩阵代码实现相关系数1、皮尔逊相关系数( Pearson correlation coefficient）2、斯皮尔曼相关性系数、秩相关系数（spearman correlation coefficient）3、Kendall Rank（肯德尔等级）相关系数信息熵和互信息前言在样本属性很多的数据集中，一定会存在一些与标签关系不那么强的..

传统机器学习——特征工程之空值处理前言空值处理——准备空值处理——字符型空值空值处理——数值型空值空值处理——变换前言前一篇介绍了清洗数据集中的异常值，之后便可以开始处理空值、字符型等数据类型。写在最前面，测试集和训练集最好concat一起，然后再进行数据处理。声明：关于编程语法相关问题不会展开论述，本文只针对方法路线。空值处理——准备首先要知道训练集中哪些列有空值，下面代码中的full...

数据挖掘——关联规则一、关联规则的基本概念二、强关联规则三、关联规则挖掘算法一、关联规则的基本概念设I=i1,i2,...,imI={i_{1},i_{2},...,i_{m}}I=i1​,i2​,...,im​为所有项目的集合，D为事务数据库，事务T是一个项目子集(T⊑IT\sqsubseteq IT⊑I)。每一个事务具有唯一的事务标识TID。设A是一个由项目构成的集合，称为项集。事务T包含..

数据挖掘——预测未来销售处理sale_train_v2.csv和test.csv处理shop.csv处理item_categories.csv处理items.csv特征添加该项目来自kaggle比赛，处理sale_train_v2.csv和test.csv1、读取训练数据：test = pd.read_csv("./test.csv") .set_index("ID")train = p...

数据挖掘——关联规则一、关联规则的基本概念二、强关联规则三、关联规则挖掘算法一、关联规则的基本概念设I=i1,i2,...,imI={i_{1},i_{2},...,i_{m}}I=i1​,i2​,...,im​为所有项目的集合，D为事务数据库，事务T是一个项目子集(T⊑IT\sqsubseteq IT⊑I)。每一个事务具有唯一的事务标识TID。设A是一个由项目构成的集合，称为项集。事务T包含..

数据挖掘——时间序列算法之ARMA模型

数据挖掘项目——金融反欺诈前言一、数据集获取二、特征工程1、读数据2、去除特殊字符3、删除属性4、提取标签三、构建模型前言该项目来自北风网，模型搭建很简单，该篇记录过程总结套路。一、数据集获取https://www.lendingclub.com/info/demand-and-credit-profile.action二、特征工程首先声明，该项目使用到的特征处理手段十分简单，但结果却...

数据挖掘——时间序列算法之MA模型