一, scp(secure copy- 安全拷贝)命令1.1 scp 入门[scp的定义]scp可以实现服务器与服务器之间的数据拷贝.[scp语法]scp-r$pdir/$filename$user@$host:$pdir/$filename#递归(传输的是目录)# 要拷贝的文件路径/名称#拷贝目的地 用户名@主机名: 目的地路径/目录名1.2 scp案例实操在bi

文章目录三, HBase API 入门3.1 API 基本使用3.1.0 环境准备3.1.1 HBase API-->DDL操作1. 判断hbase中的某张表是否存在(admin.tableExists(TableName)) && 获取Configuration 对象 + 获取 HBaseAdmin 对象1.1改进上一节-->静态代码块的恰当应用2. 创建表(admi

正斜杠，又称左斜杠，符号是"/"；反斜杠，也称右斜杠，符号是"\"。在知乎上看到这么个说法：反斜线“\”是电脑出现了之后为了表示程序设计里的特殊含义才发明的专用标点。就是说，除了程序设计领域外，任何地方都不应该有使用反斜杠的时候，请永远使用正斜线“/”。粗略想想还真差不多是这么回事，但是马上就想到一朵奇葩：Windows系统中用反斜线“\”来表示目录，但是Linux下用正斜线“/”来表示。估计不少

三, Spark 运行环境Spark 的运行模式有 Local(也称单节点模式），Standalone(集群模式），Spark on Yarn(运行在Yarn上），Mesos以及K8s, Windows模式等常用模式3.1 Local模式Local模式被定义为不需要其他任何节点资源, 在本地执行Spark代码的环境,也叫单机模式, 一般用于教学,调试, 演示等等,配置文件设置方法: conf.se

文章目录四, Kafka消费者5.1 消费方式(Pull)5.2 消费者的工作流程(待补充)5.3 消费者API5.3.1 消费者组原理5.3.2 消费者组初始化流程(待补充)5.3.3 消费者详细消费流程(待补充)5.3.4 消费者重要参数2.4.2 消费者分区分配策略(重要)1. RangeAssignor 配置策略====>(将主题分区按照跨度平均分配给订阅了这些主题的消费者, 跨度=

文章目录Kafka 对接 Flume一,Flume作为生产者1. 启动Kafka集群2. 启动Kafka消费者3. 设置Flume配置文件4. 启动Flume5. Flume采集数据, Kafka消费数据情况二, Flume作为消费者1. 配置Flume2. 启动Flume3. 启动Kafka生产者4. 测试Kafka 对接 FlumeFlume 是一个在大数据开发中非常常用的组件。可以用于 Ka

文章目录三, Kafka Broker3.1 Kafka Broker 工作流程1. Zookeeper 中存储的Kafka信息2. Kafka Broker 总体工作流程2.1 Broker 重要参数3. 生产经验--节点服役(新增Broker)和退役3.1 服役新节点3.2 退役旧结点4. Kafka副本4.1 副本的信息4.2 Leader的选举流程4.3 副本同步策略(见消费者剖析一文)5

二, Kafka架构深入2.1 Kafka 工作流程(待完善)[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bAk1dhqF-1635778465190)(2021-10-25-14-00-42.png)]Kafka 中消息是以topic进行分类的, 生产者生产消息, 消费者消费消息, 都是面向topic的.topic是逻辑上的概念, 而partition是物理上的

三, Kafka API3.1 Producer API3.1.1 消息发送流程Kafka 的 Producer 发送消息采用的异步发送的方式.在消息发送的过程中, 涉及到了两个线程(main线程和Sender线程), 以及一个双端队列(线程共享变量--RecordAccumulator),main线程将消息发送给RecordAccumlator, Sender线程不断从RecordAccumul

在HBase中，数据是按Column Family来分割的，同一个Column Family下的所有列的数据放在一个文件（为简化下面的描述在此使用文件这个词，在HBase内部使用的是Store）中。为什么要这样子做呢？HBase本身的设计目标是支持稀疏表，而稀疏表通常会有很多列，但是每一行有值的列又比较少。如果不使用Column Family的概念，那么有两种设计方案：1.把所有列的数据放在一个文