1. 首先导入所需数据，了解每个csv文件存储了哪些数据。2.将人口数据pop和 各州简称数据abb 进行合并：如果想保证数据的完整性，需要使用外连接。3. 将合并之后重复的一列abbreviation删除：4. 查看讯在缺失数据的列：（说明abb_pop数据中有缺失值）5. 找到哪些state/region 使得state的值为NaN，进行去重操作：将state中空值对应的简称找到，然后对sta

一、处理丢失的数据（删除所在行或列、覆盖）原始数据中可能存在两种缺失值（空值）： 可能会产生重复值和异常值。有两种缺失数据： None 和 np.nan(NaN)两种丢失数据的区别： 两种数据的类型不同，None是对象类型（Nonetype），np.nan是float类型。因此在数据分析中需要用浮点类型np.nan，可以对该空值进行算术运算且不报错，不会干扰、中断对原始数据的运算。NaN可以参与运

1. 目的：了解什么是分布式SQL计算；了解什么是Apache Hive2. 使用Hive处理数据的好处操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手底层执行MapReduce，可以完成分布式海量数据的SQL处理3. 什么是分布式SQL计算？以分布式的形式，执行SQL语句，进行数据统计分析。4. Apache Hive是做什么的？很简单，是一款分布式SQL计算的工具，将SQL语

最大熵原理是概率模型学习的一个准则，最大熵原理认为，学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型就是最好的模型，通常使用模型的约束条件来确定概率模型的集合，所以最大熵原理也可以表述为在满足约束条件的模型集合中选择上最大的模型。 这里，n个约束条件； 真实分布和经验分布为： 未知的只有条件分布 p(y|x)，得到了待选模型集合最大熵模型就是由公式(6.22)、公式(6.23)表示的条

Gradient Boosting 是一种梯度下降模型，每一轮迭代都会训练一个新的基模型，然后将其加入到模型中，但是每个基模型的权重并不是固定的，而是根据残差的梯度来确定的。在每一轮迭代中，Gradient Boosting 会调整样本的权重，并使用残差来训练新的基模型，这样可以使得模型越来越关注于难以拟合的样本。在GBDT中，每一棵决策树都是在前一棵树的残差基础上进行训练。在每一轮迭代中，Ada

物流行业数据项目

MCMC算法：Metropolis算法 python写法

最大熵原理是概率模型学习的一个准则，最大熵原理认为，学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型就是最好的模型，通常使用模型的约束条件来确定概率模型的集合，所以最大熵原理也可以表述为在满足约束条件的模型集合中选择上最大的模型。 这里，n个约束条件； 真实分布和经验分布为： 未知的只有条件分布 p(y|x)，得到了待选模型集合最大熵模型就是由公式(6.22)、公式(6.23)表示的条

1、概述​编辑2、决策树模型3、决策树学习4、决策树的构建——三步骤4.1 特征选择4.1.1 熵（Entropy）4.1.2 条件熵（Conditional Entropy）H(Y|X)4.1.3 信息增益（Information Gain）4.1.4 信息增益比4.2决策树算法4.2.1 ID3算法4.2.2 C4.5算法4.2.3 Python实现ID3、C4.5算法4.3 决策树的剪枝引言

物流行业数据项目