1.在diea中新建一个maven工程然后倒入一下依赖<dependency><groupId>io.kubernetes</groupId><artifactId>client-java</artifactId><version>5.0...

1.k8s中内存表示法内存：MIcpu：核2.k8s cpu/内存数据样例以下 数据通过访问heapster的api获取表示date_time时间点 node的 cpu内存使用情况3.k8s cpu、内存单位转正常单位cpu ： k8s的1000 = cpu的一个核如果一台服务器cpu是4核 那么 k8s单位表示就是 4* 1000...

flink-sql从kafka读取数据写入mysql1.导入依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation

1.代码package security.view.modelimport java.util.Propertiesimport org.apache.kafka.clients.consumer.ConsumerRecordimport org.apache.kafka.clients.producer.{KafkaProducer, ProducerRecord}import org.apac

1.需求，从kafka采集数据然后以orc格式的文件写往hdfs。然后hdfs上的表以orc格式存储，然后绑定分区可以查询出数据。2.解决需求1） 使用flume 采集。写完hdfs。但是无法写orc格式。2 ) logstach 可以写往hdfs。但是无法写orc格式。3) datax 没有用过 不知道能不能写orc3.自己写代码实现。写一个...

1、需求增量导入elasticsearch的数据到kafka。2、 解决方式1） 自定义一个flume的essource2）使用spark 的 es rdd3） 自定义flink的es source3、解决问题1） 思路：es中的数据有一个sendTime。也就是发送到es的时间。我们就根据这个时间来增量采集数据...

1.需求:有这样一个需求。要从kafka采集数据然后写到hdfs上。要直接写为orc格式。直接给orc的表来用。2.解决问题1） 我们首先想到用flume的 kafka source 和hdfs sink。但是事实是hdfs不能直接写为orc格式。除非自己再重新封装hdfs sink。 （这样就要开发了）。下面是官网的hdfs sink(1.9版本) 说只允许那几种压缩和Sequ...

目录1.背景2.需求3.开发步骤3.1去github上下载datax的代码3.2 本地解压，并导入idea3.3创建一个模块kafkareader3.4将任意一个模块的以下两个文件考入到resource目录下3.5进行修改plugin.json3.6修改pom.xml(复制其中一个文件的依赖和插件到pom.xml)3.7将其他模块下面的，这个文件夹复...

一.spark操作hbase的方式方式1.通过hive外部表映射成hbase表，然后通过spark-sql可以查询hbase表。方式2.通过创建HadoopRdd也可以查询hbase表。二.方式区别方式1.通过spark操作hive的hbase映射表 会产生全表扫描，无法通过rowkey来过滤数据。方式2.通过创建HadoopRdd的方式可以设置Startrow 和 endRow来设置数据的范围，