Flume简介Flume用于将多种来源的日志以流的方式传输至Hadoop或者其他目的地  - 一种可靠、可用的高效分布式数据收集服务Flume拥有基于数据流上的简单灵活架构，支持容错、故障转移与恢复由Cloudera 2009年捐赠给Apache，现为Apache顶级项目Flume架构Client：客户端，数据产生的地方，如Web服务器Event：事件，指通过Agent传输的单个数据包，如日志数据

一、elasticsearch数据模型Index：索引，由多个Document组成Type：索引类型，6.x中仅支持一个，以后将逐渐被移除Document：文档，由多个field组成，Field：字段，包括字段名与字段值二、Document管理PUT/POST/GET/DELETE http://ip:端口/索引名称/类型/主键创建：PUT、POST请求查询：GET请求删除：DELETE请求二、创

算法介绍：ALS是交替最小二乘法的简称，ALS特指使用交替最小二乘求解的一个协同过滤的推荐算法。通过观察用户对购买商品的评价，来推断每个用户的喜好并向用户推荐合适的商品。案例解析：西游记水浒传红楼梦三国演义简爱用户13748用户225用户36用户4741上表所描述的是一个用户对几本名著的一个评分结果。近似的可以理解成为一个矩阵。在现实的生产环境中，矩阵的行和列都会非常大，ALS的基本思想就是将一个

首先去官网下载HDP，大概12个g左右，我这里就不提供了，百度云盘上传不上去。官网链接：http://hortonworks.com/products/hortonworks-sandbox/#install如果官网不太好下载的话就私信我跟我要1.将下载好的镜像通过VirtualBox导入，导启动的过程很漫长很漫长，静静的等待吧首先选择自己下载的镜像文件，然后根据自己电脑的情况设置自己的HDP配置

Pregel概述Pregel是Google提出的用于大规模分布式图计算框架  - 图遍历(BFS)  - 单源最短路径(SSSP)  - PageRank计算Pregel的计算由一系列迭代组成，称为superstepsPregel迭代过程  - 每个顶点从上一个superstep接收入站消息  - 计算顶点新的属性值  - 在下一个superstep中想相邻的顶点发送消息  - 当没有剩余消息是，

VectorAssemble是将给定列列表组合成单个向量列的转换器。为了训练逻辑回归和决策树等ML模型，将原始的多个特征列组合成一个特征向量是很有用的。VectorAssemble将接受一下的输入列类型：所有数值类型、布尔类型和向量类型。在每一行中，输入列的值将按照指定的顺序连接到一个向量中。示例：以下是我的一些项目模拟数据原始数据集：处理后的数据集：VecotrAssemble代码实现：//nu

Spark Streaming继承Flume  Spark Streaming通过Push和Pull两种方式对接Flume数据源。以Spark Streaming的角度来看，Push方式属于推送(由Flume向Spark推送)，而Pull属于拉取(Spark拉取Flume的输出)。  不论以何种方式，开发过程类似，都是由 Spark Streaming 对接 Flume 数据流，Flume 做为

图(Graph)的基本概念图是有顶点集合(vertex)及顶点之间的关系结合(边egde)组成的一种网状数据结构  - 通常表示为二元祖：Graph=（V,E）  - 可以对事物之间的关系建模应用场景  - 在地图应用中寻找最短路径  - 社交网络关系  - 网页间超链接关系顶点（Vertex）边（Edge）//顶点集合V={v1,v2,v3}//边集合E={(v1,v2),(v2,v3),(v1

Numpy 入门Numpy安装首先更改pip的国内镜像源，因为国外的源下载东西他太慢了Windows环境下：在user用户目录下创建一个名为pip的文件夹在文件夹内创建一个名为pip的文本文件(创建完成后将“.txt”改为".ini")将以下代码拷贝到文件里[global]index-url = https://pypi.tuna.tsinghua.edu.cn/simple[install]tr

首先安装Python解析环境，类似JVM软件资源获取https://pan.baidu.com/s/1pjeX7m-qKpQEv9gySN7A-Q提取码：1i5t下载到Windows环境后直接无脑下一步安装即可。安装Sublime Text3(编辑Python程序的软件)软件资源获取https://pan.baidu.com/s/1Nwy8Pb-R4JwwJQBwiZZk1Q提取码：17yl下载到