目录一.基本环境准备:python3.5+pipjava 1.8maven version >=3.3.0二.Pyspark Test1. pip install pyspark2.code(1)streaming3.执行脚本三.Flink Test1.构建python2.flink's 'stanalone ( 其他环境)3.pyflink.py4. 运行命令5. result:三.Map

# kafka source (simple json+debeizum json+复杂json)近期主要是我花时间一步步采坑实践出来的各种细节,发现官网很多文字和配置都误差. 所以本人本着真实可靠的实践操作来给予大家的文案.希望可以帮到你 .做实践之前,必须准备flink 环境 略java 环境 略sql-client 开启 略docker 环境. 以备各个组件的快速运行.一. kaf...

前言zookeeper是是分布式大数据平台的枢纽,没有了它,很多依赖它的分布式直接是无可奈何,它就像是一个催化剂一样,默默无闻的辅助着各类工具的稳定和运行. (kafka,habse ,clickhouse ,hdfs…).我这里简单描述 一下,zookeeper常用参数的细节优化一.配置1.配置snapshot文件清理策略autopurge.purgeInterval=1autopurge.pu