一, Spark概述1.1 什么是SparkSpark是一种基于内存的快速,通用,可扩展的大数据分析计算引擎;1.2 Spark && HadoopSParkHadoop1.Scala开发, 快速通用,扩展的大数据分析引擎1. Java开发, 在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架2. Spark Core 提供了Spark最基础,核心的内容2. HDFS基

1.字体样式和格式化斜体（Ctrl+I） ： *内容 *加粗（Ctrl+B） ： **内容 **加粗斜体： ***内容 ***删除文本： ~~内容 ~~下划线文本： 内容建立分割线： 三个*或-“>字符串”表示引用“反括号``” 高亮子字符串2.标题Markdown 标题有两种格式。常用格式： #空格"xxxx",几级标题几个#3.段落Markdown 段落没有特殊的格式，直接编写文字就好，

文章目录二, Hadoop序列化2.1 序列化概述2.2 自定义bean对象实现序列化接口(Writable)2.3 序列化案例实操二, Hadoop序列化2.1 序列化概述[什么是序列化 ?]序列化 就是把内存中的对象, 转换为字节序列(或其他数据传输协议)以便于存储到磁盘(持久化)和网络存储.反序列化 就是将收到的字节序列(或其他数据传输协议)或者是磁盘的持久化数据, 转换为内存中的对象.简而

一, QueueQueue是一种很常见的数据结构类型，在Java里面Queue是一个接口，它只是定义了一个基本的Queue应该有哪些功能规约。实际上有多个Queue的实现，有的是采用线性表实现，有的基于链表实现。还有的适用于多线程的环境。java中具有Queue功能的类主要有如下几个：AbstractQueue, ArrayBlockingQueue, ConcurrentLinkedQueue,

三, 数据清洗(ETL)和计数器 浅析 及案例实操ETL“ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（Extract）、转换（Transform）、加载（Load）至目的端的过程。ETL 一词较常用在数据仓库，但其对象并不限于数据仓库在运行核心业务 MapReduce 程序之前，往往要先对数据进行清洗，清理掉不符合用户要求的数据。清理的过程

文章目录三, HBase API 入门3.1 API 基本使用3.1.0 环境准备3.1.1 HBase API-->DDL操作1. 判断hbase中的某张表是否存在(admin.tableExists(TableName)) && 获取Configuration 对象 + 获取 HBaseAdmin 对象1.1改进上一节-->静态代码块的恰当应用2. 创建表(admi

正斜杠，又称左斜杠，符号是"/"；反斜杠，也称右斜杠，符号是"\"。在知乎上看到这么个说法：反斜线“\”是电脑出现了之后为了表示程序设计里的特殊含义才发明的专用标点。就是说，除了程序设计领域外，任何地方都不应该有使用反斜杠的时候，请永远使用正斜线“/”。粗略想想还真差不多是这么回事，但是马上就想到一朵奇葩：Windows系统中用反斜线“\”来表示目录，但是Linux下用正斜线“/”来表示。估计不少

三, Spark 运行环境Spark 的运行模式有 Local(也称单节点模式），Standalone(集群模式），Spark on Yarn(运行在Yarn上），Mesos以及K8s, Windows模式等常用模式3.1 Local模式Local模式被定义为不需要其他任何节点资源, 在本地执行Spark代码的环境,也叫单机模式, 一般用于教学,调试, 演示等等,配置文件设置方法: conf.se

文章目录四, Kafka消费者5.1 消费方式(Pull)5.2 消费者的工作流程(待补充)5.3 消费者API5.3.1 消费者组原理5.3.2 消费者组初始化流程(待补充)5.3.3 消费者详细消费流程(待补充)5.3.4 消费者重要参数2.4.2 消费者分区分配策略(重要)1. RangeAssignor 配置策略====>(将主题分区按照跨度平均分配给订阅了这些主题的消费者, 跨度=

文章目录Kafka 对接 Flume一,Flume作为生产者1. 启动Kafka集群2. 启动Kafka消费者3. 设置Flume配置文件4. 启动Flume5. Flume采集数据, Kafka消费数据情况二, Flume作为消费者1. 配置Flume2. 启动Flume3. 启动Kafka生产者4. 测试Kafka 对接 FlumeFlume 是一个在大数据开发中非常常用的组件。可以用于 Ka