logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

PyFlink on K8s 部署实践

前置介绍1.1 K8s 简介Pod: K8s 的原子调度单位,是一个或多个 Container 的组合,Container 共享同一个网络、存储。Deployment: 对一组相同 Pod 的高级抽象,保障高可用。Service: 定义服务的访问入口,通过 Label Selector 绑定后端 Pod 副本集。如果 K8s 内部有一个服务,需要在外部进行访问,此时可以通过 Service 用 L

#kubernetes#flink
【备忘】Kafka-consumer-groups.sh查看重置offset

使用kafka提供的脚本查看和修改消费者组offset查看:kafka-consumer-groups.sh --bootstrap-server ip:9092--group testConsumer --describe修改:kafka-consumer-groups.sh --bootstrap-server ip:9092 --group testConsumer -...

kafka-connect-distribute 模式,使用 debezium source 同步 MongoDB 集群到 Kafka

从flink社区看到 MongoDB ->Debezium-> Kafka 作为 Flinkdatasource 的方案,试着搭了一套。MongoDB 使用副本+分片Debezium 作为 Kafka Connect 的插件,首先配置 Kafka Connect,选择的是 connect-distribute 模式,这里踩到了一个坑, 因为我的集群 java 版本还在 7...

#kafka
Kafka Manager与Kafka SASL+ACL配置

根据需求,给 Kafka 集群配置不使用 Kerberos 的 SASL+ACL 。Kafka 配置部分参考资料比较充足,这里参考了胡夕老师的《Apache Kafka 实战》中相关章节,配置过程顺利。Kafka Manager监控配置了 SASL Kafka 集群部分的资料比较少,在认证部分出现较多问题,最终配置出一个“能用”版本。Kafka_2.11-1.0.0 kafka-manager-.

#kafka
Mac傻瓜式git、go get代理教学

git config --global https.proxy http://127.0.0.1:1086git config --global https.proxy https://127.0.0.1:1086git config --global http.proxy 'socks5://127.0.0.1:1086' git config --global https.proxy '...

到底了