logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Flink1.11.0+Kafka2.3.0+MySQL8的快速安装部署

环境准备本实战演示环节需要安装到Linux虚拟机的服务,包括:Flink 集群:用来运行 Flink 任务。Kafka 集群:用来作为数据源。MySQL 数据库:用来作为结果表。虚拟机最好是CenOs7以上的版本,这样会支持docker,后续一些组件可以采用docker的方式部署特别说明如果我们平时是用本机window编写IDEA,可以不用着急安装虚拟机上面的FlinkFlink 集群安装下载 F

#docker#mysql#大数据
Flink的提交/运行方式

Flink的多种提交/运行方式Flink具有多种提交方式,比如:常用的local模式,stantalone模式,yarn模式,k8s等。这里主要对比local,stantalone,yarn三种提交方式。(1)Local 模式,JobManager 和 TaskManager 共用一个 JVM,只需要jdk支持,单节点运行,主要用来调试;(2)stantalone模式,Flink是Master/S

#flink
Flink读取Kafka 消息并批量写入到 MySQL8.0

前言说明环境搭建可参考《kafka+flink集成实例》本实例主要实现功能如下:模拟消息生成->Kafka->Flink->Mysql其中Flink做数据流收集并定时批量写入到Mysql环境依赖本例使用Intellij IDEA作为项目开发的IDE。首先创建Maven project,group为’com.zuoan’,artifact id为‘flink-kafka-mysql

#flink#kafka
flink的实时数据同步

构建基于flink、kafka、MySQL、hbase的实时数仓,实现:(1)业务数据全量同步到数据仓库;(2)业务数据实时增量同步到数据仓库,使用Kafka+canal实现增量数据采集。数仓架构设计:(1)全量拉取模块,采用flink-jdbc,或者sqoop(2)增量实时同步模块,使用Kafka+canal实现增量数据采集。canal是通过模拟成为mysql 的slave节点的方式,监听mys

#flink
到底了