VectorAssemble是将给定列列表组合成单个向量列的转换器。为了训练逻辑回归和决策树等ML模型，将原始的多个特征列组合成一个特征向量是很有用的。VectorAssemble将接受一下的输入列类型：所有数值类型、布尔类型和向量类型。在每一行中，输入列的值将按照指定的顺序连接到一个向量中。示例：以下是我的一些项目模拟数据原始数据集：处理后的数据集：VecotrAssemble代码实现：//nu

Spark Streaming继承Flume  Spark Streaming通过Push和Pull两种方式对接Flume数据源。以Spark Streaming的角度来看，Push方式属于推送(由Flume向Spark推送)，而Pull属于拉取(Spark拉取Flume的输出)。  不论以何种方式，开发过程类似，都是由 Spark Streaming 对接 Flume 数据流，Flume 做为

图(Graph)的基本概念图是有顶点集合(vertex)及顶点之间的关系结合(边egde)组成的一种网状数据结构  - 通常表示为二元祖：Graph=（V,E）  - 可以对事物之间的关系建模应用场景  - 在地图应用中寻找最短路径  - 社交网络关系  - 网页间超链接关系顶点（Vertex）边（Edge）//顶点集合V={v1,v2,v3}//边集合E={(v1,v2),(v2,v3),(v1

Numpy 入门Numpy安装首先更改pip的国内镜像源，因为国外的源下载东西他太慢了Windows环境下：在user用户目录下创建一个名为pip的文件夹在文件夹内创建一个名为pip的文本文件(创建完成后将“.txt”改为".ini")将以下代码拷贝到文件里[global]index-url = https://pypi.tuna.tsinghua.edu.cn/simple[install]tr

首先安装Python解析环境，类似JVM软件资源获取https://pan.baidu.com/s/1pjeX7m-qKpQEv9gySN7A-Q提取码：1i5t下载到Windows环境后直接无脑下一步安装即可。安装Sublime Text3(编辑Python程序的软件)软件资源获取https://pan.baidu.com/s/1Nwy8Pb-R4JwwJQBwiZZk1Q提取码：17yl下载到

Spark Streaming继承Flume  Spark Streaming通过Push和Pull两种方式对接Flume数据源。以Spark Streaming的角度来看，Push方式属于推送(由Flume向Spark推送)，而Pull属于拉取(Spark拉取Flume的输出)。  不论以何种方式，开发过程类似，都是由 Spark Streaming 对接 Flume 数据流，Flume 做为

目录一：简介二：Hbase重要概念：Hbase的表结构表Table命名空间namespace行键Row Key区域region列簇column family修饰符（列限定符）Hbase shell基本操作：创建Hbase表：1.创建简单表：2.修改（添加、删除）表结构：3.获取表的描述describe4.列举所有表list5.表是否存在exists6.启用表enable和禁用表disable7.删

在创建表进行数据清洗的过程中 csv表格字段中可能存在csv表格的分割符号 ，如图此时如果还是按照原来的写法：%hivecreate external table if not exists ext_transaction_details(transaction_id string,customer_id string,store_id string,price string,product st

归一化是一种简化计算的方式，即通过某种算法将原始数据集限制在你需要的一定范围内，一方面是数据处理的方便，另一方面是为了后面放入模型计算的方便，使得运行时的收敛性更快。Spark ML机器学习库中包含了4种归一化的方法：NormalizerStandardScalerMinMaxScalerMaxAbsScaler在我的项目中只用到了MinMaxScaler方法，在这里我就着重分享该方法的用法。Mi

一、搭建Scala开发环境 Scala的优势多范式编程：面向对象编程，函数式编程表达能力强，代码精简 安装Scala编译器