logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Hadoop完全分布式搭建流程

一、版本Centos6.964位java version "1.8.0_45"zookeeper3.4.6.tar.gzhadoop-2.6.0-cdh5.7.0二、环境准备如果集群是搭建在阿里云上,则无需做这一步,因为阿里云的私有ip是固定的如果是搭建在虚拟机上,则需要设置虚拟机的ip地址(3台)1、设置ip地址[root@hadoop00...

HBase的读写流程

HBase读数据流程如图3所示图3所示 HBase读数据流程1)Client先访问zookeeper,从meta表读取region的位置,然后读取meta表中的数据。meta中又存储了用户表的region信息;2)根据namespace、表名和rowkey在meta表中找到对应的region信息;3)找到这个region对应的regionserver;4)查找对应的regi...

Confluent入门简介

Confluent一个是企业版(付费)试用30天,一个是开源版(免费)Confluent让我们可以将数据用作不断更新的时间流,而不是离快照,大部分世界100强企业都用事件流,其中用confluent的占大多数。Confluent是基于Kafka构造的,它提供单一平台给实时和历史时间,构建全新类别的事件驱动应用程序并获取通用事件管道。通过Confluent我们能非常容易的构建...

大数据组件之Maxwell与Canal工具对比

Maxwell和Canal对比Maxwell 没有 Canal那种server+client模式,只有一个server把数据发送到消息队列或redis。➢ Maxwell 有一个亮点功能,就是Canal只能抓取最新数据,对已存在的历史数据没有办法处理。而Maxwell有一个bootstrap功能,可以直接引导出完整的历史数据用于初始化,非常好用。➢ Maxwell不能直接支持HA,但是它支持断点还

到底了