1、 前言1.1 Minio 简介1、MinIO 是在 Apache License v2.0 下发布的对象存储服务器。 它与 Amazon S3 云存储服务兼容。 它最适合存储非结构化数据，如照片，视频，日志文件，备份和容器/ VM 映像。 对象的大小可以从几 KB 到最大 5TB。2、MinIO 服务器足够轻，可以与应用程序堆栈捆绑在一起，类似于 NodeJS，Redis 和 MySQL。3

linux网络状态，一般会用netstat -anp命令查看举例如下：第一行荧光部分，一个叫“j1600_hi3516a”的进程，正在监听554端口，“LISTEN”表示监听第二行荧光部分，分两行文字，第一行，说明对于“j1600_hi3516a”进程，外部有个“60177”端口，连接了它的“554”端口，“ESTABLISHED”表示已连接第二行，说明对于“live555...

1 HBase架构HBase的zookeeper中保存HBase的元数据，HMater是HBase的管理节点，ReginServer有多个，每个ReginServer管理了多个Regin，每个ReginServer根据列族的个数可以有多个Store，每个Store的MemStore是写入缓冲区，但在写入MemStore之前还是会先写入预写日志（HLog），HLog文件还是会保存在HDFS上...

1 读流程         HBase读数据流程如图1所示                                                     图1 所示 HBase读数据流程1）Client先访问zookeeper，从meta表所处位置（ip），2）访问meta表，然后读取meta表中的数据。meta中又存储了用户表的region信息；3）根据name...

1、 前言1.1 Minio 简介1、MinIO 是在 Apache License v2.0 下发布的对象存储服务器。 它与 Amazon S3 云存储服务兼容。 它最适合存储非结构化数据，如照片，视频，日志文件，备份和容器/ VM 映像。 对象的大小可以从几 KB 到最大 5TB。2、MinIO 服务器足够轻，可以与应用程序堆栈捆绑在一起，类似于 NodeJS，Redis 和 MySQL。3

方式一：ls /home/user | grep ".*\.png\|.*\.jpg"方式二：find ./ -regex ".*\.png\|.*\.jpg"

spark-shell读取parquet文件1、进入spark-shell窗口2、val sqlContext = new org.apache.spark.sql.SQLContext(sc)3、val parquetFile = sqlContext.parquetFile("hdfs://cdp/user/az-user/sparkStreamingKafka2Hd...

实现使用低级API读取指定topic，指定partition,指定offset的数据。1）消费者使用低级API 的主要步骤：步骤主要工作1根据指定的分区从主题元数据中找到主副本2获取分区最新的消费进度3从主副本拉取分区的消...

一、基于Receiver的方式这种方式使用Receiver来获取数据。Receiver是使用Kafka的高层次Consumer API来实现的。receiver从Kafka中获取的数据都是存储在Spark Executor的内存中的（如果突然数据暴增，大量batch堆积，很容易出现内存溢出的问题），然后Spark Streaming启动的job会去处理那些数据。然而，在默认的配置下，这种方...

1 概述编写关键任务实时应用程序和微服务的最简单方法，具有 Kafka 服务器端集群技术的所有优势。Kafka Streams 是 Apache Kafka 开源项目的一个组成部分。是一个功能强大，易于使用的库。用于在 Kafka 上构建高可分布式、拓展性，容错的应用程序。1.1 Kafka Stream 特点功能强大高扩展性，弹性，容错轻量级无需专...