文章目录二, Hadoop序列化2.1 序列化概述2.2 自定义bean对象实现序列化接口(Writable)2.3 序列化案例实操二, Hadoop序列化2.1 序列化概述[什么是序列化 ?]序列化 就是把内存中的对象, 转换为字节序列(或其他数据传输协议)以便于存储到磁盘(持久化)和网络存储.反序列化 就是将收到的字节序列(或其他数据传输协议)或者是磁盘的持久化数据, 转换为内存中的对象.简而

文章目录三, HBase API 入门3.1 API 基本使用3.1.0 环境准备3.1.1 HBase API-->DDL操作1. 判断hbase中的某张表是否存在(admin.tableExists(TableName)) && 获取Configuration 对象 + 获取 HBaseAdmin 对象1.1改进上一节-->静态代码块的恰当应用2. 创建表(admi

一, scp(secure copy- 安全拷贝)命令1.1 scp 入门[scp的定义]scp可以实现服务器与服务器之间的数据拷贝.[scp语法]scp-r$pdir/$filename$user@$host:$pdir/$filename#递归(传输的是目录)# 要拷贝的文件路径/名称#拷贝目的地 用户名@主机名: 目的地路径/目录名1.2 scp案例实操在bi

正斜杠，又称左斜杠，符号是"/"；反斜杠，也称右斜杠，符号是"\"。在知乎上看到这么个说法：反斜线“\”是电脑出现了之后为了表示程序设计里的特殊含义才发明的专用标点。就是说，除了程序设计领域外，任何地方都不应该有使用反斜杠的时候，请永远使用正斜线“/”。粗略想想还真差不多是这么回事，但是马上就想到一朵奇葩：Windows系统中用反斜线“\”来表示目录，但是Linux下用正斜线“/”来表示。估计不少

三, Spark 运行环境Spark 的运行模式有 Local(也称单节点模式），Standalone(集群模式），Spark on Yarn(运行在Yarn上），Mesos以及K8s, Windows模式等常用模式3.1 Local模式Local模式被定义为不需要其他任何节点资源, 在本地执行Spark代码的环境,也叫单机模式, 一般用于教学,调试, 演示等等,配置文件设置方法: conf.se

文章目录四, Kafka消费者5.1 消费方式(Pull)5.2 消费者的工作流程(待补充)5.3 消费者API5.3.1 消费者组原理5.3.2 消费者组初始化流程(待补充)5.3.3 消费者详细消费流程(待补充)5.3.4 消费者重要参数2.4.2 消费者分区分配策略(重要)1. RangeAssignor 配置策略====>(将主题分区按照跨度平均分配给订阅了这些主题的消费者, 跨度=

文章目录Kafka 对接 Flume一,Flume作为生产者1. 启动Kafka集群2. 启动Kafka消费者3. 设置Flume配置文件4. 启动Flume5. Flume采集数据, Kafka消费数据情况二, Flume作为消费者1. 配置Flume2. 启动Flume3. 启动Kafka生产者4. 测试Kafka 对接 FlumeFlume 是一个在大数据开发中非常常用的组件。可以用于 Ka

文章目录三, Kafka Broker3.1 Kafka Broker 工作流程1. Zookeeper 中存储的Kafka信息2. Kafka Broker 总体工作流程2.1 Broker 重要参数3. 生产经验--节点服役(新增Broker)和退役3.1 服役新节点3.2 退役旧结点4. Kafka副本4.1 副本的信息4.2 Leader的选举流程4.3 副本同步策略(见消费者剖析一文)5

二, Kafka架构深入2.1 Kafka 工作流程(待完善)[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bAk1dhqF-1635778465190)(2021-10-25-14-00-42.png)]Kafka 中消息是以topic进行分类的, 生产者生产消息, 消费者消费消息, 都是面向topic的.topic是逻辑上的概念, 而partition是物理上的

三, Kafka API3.1 Producer API3.1.1 消息发送流程Kafka 的 Producer 发送消息采用的异步发送的方式.在消息发送的过程中, 涉及到了两个线程(main线程和Sender线程), 以及一个双端队列(线程共享变量--RecordAccumulator),main线程将消息发送给RecordAccumlator, Sender线程不断从RecordAccumul