
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
zookeeper-3.8.4+kafka_2.12-3.7.1安装+SCRAM权限设置
给消费者授权,这里指定了 Read 的读操作权限,还有 Consumer Group 的 ID,只有 group.id 为 test_cons-group 的消费者才能消费 test_users 这个 Topic 的消息,否则都没有权限去消费。#这个客户端 JAAS 配置文件非常重要,所有需要以管理员身份与 Kafka Broker 交互的,都需要在执行的脚本/命令中传递这个 JAAS 配置来完成

spark-submit 提交任务队列资源被占满
可以通过 --conf spark.dynamicAllocation.maxExecutors=100限制动态资源申请的最大核数;num-executors,executor-cores 不会被限制住,造成executors数据一直增长,队列资源空闲资源被占满,导致其他任务无法运行。CDH环境中,默认开启了动态资源占用:spark.dynamicAllocation.enabled=true,在

到底了







