在学习Spark, 深入分布式计算之前, 我们有必要先体会一下分布式计算的特性和简单原理;那么我们基于Java去理解, 实现分布式的前提是什么呢?当然是各个主机之间的通信, 即Socket网络通信, 由于Scala引入了大量的Java类库, 自然的也就类似于Java实现Socket通信了;第一步, Scala实现服务器端 Excutor.scalapackage simpledistributed

一, scp(secure copy- 安全拷贝)命令1.1 scp 入门[scp的定义]scp可以实现服务器与服务器之间的数据拷贝.[scp语法]scp-r$pdir/$filename$user@$host:$pdir/$filename#递归(传输的是目录)# 要拷贝的文件路径/名称#拷贝目的地 用户名@主机名: 目的地路径/目录名1.2 scp案例实操在bi

三, 数据清洗(ETL)和计数器 浅析 及案例实操ETL“ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（Extract）、转换（Transform）、加载（Load）至目的端的过程。ETL 一词较常用在数据仓库，但其对象并不限于数据仓库在运行核心业务 MapReduce 程序之前，往往要先对数据进行清洗，清理掉不符合用户要求的数据。清理的过程

文章目录三, HBase API 入门3.1 API 基本使用3.1.0 环境准备3.1.1 HBase API-->DDL操作1. 判断hbase中的某张表是否存在(admin.tableExists(TableName)) && 获取Configuration 对象 + 获取 HBaseAdmin 对象1.1改进上一节-->静态代码块的恰当应用2. 创建表(admi

三, Kafka API3.1 Producer API3.1.1 消息发送流程Kafka 的 Producer 发送消息采用的异步发送的方式.在消息发送的过程中, 涉及到了两个线程(main线程和Sender线程), 以及一个双端队列(线程共享变量--RecordAccumulator),main线程将消息发送给RecordAccumlator, Sender线程不断从RecordAccumul

在HBase中，数据是按Column Family来分割的，同一个Column Family下的所有列的数据放在一个文件（为简化下面的描述在此使用文件这个词，在HBase内部使用的是Store）中。为什么要这样子做呢？HBase本身的设计目标是支持稀疏表，而稀疏表通常会有很多列，但是每一行有值的列又比较少。如果不使用Column Family的概念，那么有两种设计方案：1.把所有列的数据放在一个文

1 HBase 浅析1.1 HBase 是啥HBase 是一款面向列存储，用于存储处理海量数据的 NoSQL 数据库。它的理论原型是Google 的 BigTable 论文。你可以认为 HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase 的存储是基于HDFS的，HDFS 有着高容错性的特点，被设计用来部署在低廉的硬件上，基于 Hadoop 意味着 HBase 与生俱来的