安装centos7.2 可以自定义硬件：内存选为16g,磁盘选为80g点击DVD，将下载的镜像加载进来点击开启虚拟机，进行安装centos的配置设置语言安装源--校验安装介质软件选择 ----最小化安装 和 GNOME桌面 （两者看情况选择吧，这里选择最小化安装）安装位置----选择自动分区网络和主机名----以太网开启连...

　　本文记录Linux Shell编程中常用基本知识，方便快速入门以及查询使用。 　　本文主要分为以下几个部分：一、Shell中的变量　　任何编程语言中，有关变量的定义，作用范围，赋值等都是最最基础的知识。0、默认变量　　首先介绍几个shell中的默认变量。 　　变量含义$0当前脚本名称$1脚本接收的第一个参数$2脚本接收的...

1. 在有docker的环境拉取官方镜像[root@k8smaster01 docker]# docker pull flinkUsing default tag: latestlatest: Pulling from library/flinkDigest: sha256:94906bb9fa87da1ca8503bf47ec706d07ea934ae1ca72814846956c4...

-- 安装wget[root@k8smaster01 docker]# yum install wget--下载flink包wget -p ./ http://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.10.0/flink-1.10.0-bin-scala_2.11.tgz-- 解压[root@k8smaster01 fli...

这张图比较清晰地描述了“分区”的概念，对于某一个topic的消息来说，我们可以把这组消息发送给若干个分区，就相当于一组消息分发一样。分区、Offset、消费线程、group.id的关系1）一组（类）消息通常由某个topic来归类，我们可以把这组消息“分发”给若干个分区（partition），每个分区的消息各不相同；2）每个分区都维护着他自己的偏移量（Offset），记录着该分...

滑动窗口DStream.window(window length,sliding interval) batch interval:批处理时间间隔，spark streaming将消息源（Kafka）的数据，以流的方式按批处理时间间隔切片，一个批处理间隔时间对应1个切片对应生成的1个RDDwindow length :窗口时间长度，每个批处理间隔将会实际处理的RDD个数（1...n...

在两个kafka集群同步topic目标：把debezium节点所在集群上的kafka集群的名为sysdata的topic同步到目标集群cdh上的kafka集群上。前提：在目标集群的相关节点的hosts文件配置好源集群主机信息。[root@master01 kafka]# vi /etc/hosts127.0.0.1localhost localhost.localdomai...