Dockerfile构建镜像NOTE： 需要镜像上传到docker镜像私服（或者在每个node节点都构建相同的镜像），并保证所有k8s node节点都有权限链接到此私服。登录本地镜像仓库重新打标签推送镜像测试镜像可用性创建configmap创建jobmanager创建taskmanager创建jobmanager service创建namespace设置命名空间首选项创建 Flink 集群查看服务

flink版本flink1.15.0。k8s部署（minkube简单快速部署k8s）：https://minikube.sigs.k8s.io/docs/start/如果使用 MiniKube，请确保在部署 Flink 集群之前先执行 minikube ssh ‘sudo ip link set docker0 promisc on’，否则 Flink 组件不能自动地将自己映射到 Kubernet

我们在安装部署hadoop、kafka等集群环境时，往往需要在每个节点去配置ssh免秘钥登录的互信操作。如果集群节点非常多的情况，将会带来很大的工作量，因此开发一个自动化互信配置脚本就显得很有必要。自动化互信配置脚本： 根据设置好的HOSTS，自动化的配置与所有的主机的互信。#!/bin/bash# auto_mutual_trust.shset -eWORKDIR=`cd $(dirname $

通过指定的时间戳来获取offset，从此offset来消费数据public List<ConsumerRecordDtoNew> consumerByTimestamp(long timestamp) {//===========================//时间戳设置//Map<TopicPartition, OffsetAndMetadata> offset =

概述自0.9.0.0.版本引入Security之后，Kafka一直在完善security的功能，以提高kafka集群的安全性。当前Kafka security主要包含3大功能：认证(authentication)、信道加密(encryption)和授权(authorization)。认证Kafka SASL的认证范围包含如下：Client与Broker之间Broker与Broker之间...

文章目录概述kafka时间戳的作用kafka 参数关于从ConsumerRecord获取时间戳为-1的说明概述Kafka从0.10.0.0版本起，在消息内新增加了个timestamp字段，在Kafka 0.10.1.0以前(不包含0.10.1.0)，对于一个Topic而言，其Log Segment是由一个.log文档和一个.index文档组合而成，分别用来存储具体的消息数据和对应的偏移量从Kafk

文章目录特别说明listenersadvertised.listeners介绍区别什么场景用到只有内网内外网客户端连接kafka集群流程特别说明kafka 0.9.x以后的版本新增了advertised.listeners配置kafka 0.9.x以后的版本不要使用 advertised.host.name 和 advertised.host.port 已经deprecatedhost.n...

Timeplus是一个流处理器。它提供强大的端到端功能，利用开源流引擎Proton来帮助数据团队快速直观地处理流数据和历史数据，可供各种规模和行业的组织使用。它使数据工程师和平台工程师能够使用 SQL 释放流数据价值。Timeplus 控制台可以轻松连接到不同的数据源（例如 Apache Kafka、Confluence Cloud、Redpanda、NATS、Web Socket/SSE、CSV

superset简单易用，可以对接 mysql、presto、doris、postgresql、ClickHouse、sparkSQL、hive、oracle、sqlserver、Elasticsearch等多种数据源，官网安装部署：docker run -d -p "8088:8088" --name superset amancevice/superset初始化superset并设置管理员账号

首先需要k8s环境，并且k8s version >1.9。flink版本flink1.15.0。k8s部署（minkube简单快速部署k8s）：https://minikube.sigs.k8s.io/docs/start/如果使用 MiniKube，请确保在部署 Flink 集群之前先执行 minikube ssh ‘sudo ip link set docker0 promisc on’，否则