Flink和Kafka的配合难点在于版本的适配,本文提供已适配版本,并且提供docker镜像、docker启动脚本以及k8s多副本部署Flink和Kafka的部署脚本。

一、版本选择

        Flink:1.10.0-scala_2.12

        Kafka:2.12-2.3.1

        wurstmeister/zookeeper:3.4.6

        版本资源、docker部署脚本以及k8s多副本方式部署脚本(包含k8s各个pod之间的动态通信脚本)请到Flink+Kafka搭建流式处理框架(内涵docker部署脚本和k8s多副本部署脚本)-flink文档类资源-CSDN下载flink搭配kafka,构建流式采集框架,提供了docker部署方式脚本和k8s多副本方式部署脚本更多下载资源、学习资料请访问CSDN下载频道.https://download.csdn.net/download/jdk819/36732717获取。

二、Docker版本部署

        下面图片贴出了部署脚本deploy.sh,其中flink的docker-compose.yml编排脚本,请去上面的资源路径获取。

  • 如果需要部署多个kafka的docker容器,可以复制Kafka容器的部署命令,并修改对外映射端口号和容器名称即可

 三、Kubernetes版本部署

        k8s采用多副本方式部署,难点在于解决各个pod之前的通信问题,比如zookeeper和kafka之间的通信等。

        废话不多说,放出部署成功的截图,资源请去上面的链接中获取。

  • k8s中三副本部署zookeeper和Kafka

  • k8s中三副本部署flink

  • flink对外接口

        k8s的主节点为10.21.70.183,通过http://10.21.70.183:30328/访问flink页面如下:

Logo

K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容

更多推荐