Flink+Kafka:构建日志采集+流式处理分析日志
Flink和Kafka的配合难点在于版本的适配,本文提供已适配版本,并且提供docker镜像、docker启动脚本以及k8s多副本部署Flink和Kafka的部署脚本。一、版本选择Flink:1.10.0-scala_2.12Kafka:2.12-2.3.1wurstmeister/zookeeper:3.4.6版本资源、docker部署脚本以及k8s多副本方式部署脚本(包含k8s各个pod之间的
Flink和Kafka的配合难点在于版本的适配,本文提供已适配版本,并且提供docker镜像、docker启动脚本以及k8s多副本部署Flink和Kafka的部署脚本。
一、版本选择
Flink:1.10.0-scala_2.12
Kafka:2.12-2.3.1
wurstmeister/zookeeper:3.4.6
版本资源、docker部署脚本以及k8s多副本方式部署脚本(包含k8s各个pod之间的动态通信脚本)请到Flink+Kafka搭建流式处理框架(内涵docker部署脚本和k8s多副本部署脚本)-flink文档类资源-CSDN下载flink搭配kafka,构建流式采集框架,提供了docker部署方式脚本和k8s多副本方式部署脚本更多下载资源、学习资料请访问CSDN下载频道.https://download.csdn.net/download/jdk819/36732717获取。
二、Docker版本部署
下面图片贴出了部署脚本deploy.sh,其中flink的docker-compose.yml编排脚本,请去上面的资源路径获取。
- 如果需要部署多个kafka的docker容器,可以复制Kafka容器的部署命令,并修改对外映射端口号和容器名称即可
三、Kubernetes版本部署
k8s采用多副本方式部署,难点在于解决各个pod之前的通信问题,比如zookeeper和kafka之间的通信等。
废话不多说,放出部署成功的截图,资源请去上面的链接中获取。
- k8s中三副本部署zookeeper和Kafka
- k8s中三副本部署flink
- flink对外接口
k8s的主节点为10.21.70.183,通过http://10.21.70.183:30328/访问flink页面如下:
更多推荐
所有评论(0)