1taskmanager.numberOfTaskSlotsfink-conf.yaml这个参数指定了每个任务管理器，最大提供的并发数。一般根据cpu core来指定，可以设定等于CPU cores数或者为一半此参数设定好了，启动集群，基本上总槽位数就确定了：该参数* taskmanager数量。./yarn-session.sh -n 4 -tm 800...

1spark 提交主要参数1.1 num-executors此数量代表 spark的executors数量， 所有的task在executor中运行。1.2 executor-cores此数值代表每个 executor中可以并行运行的task数。 一般一个任务使用1核，此值等同于1个executor占用的CPU核心数。1.3 executor-memory此参数指定了每个 executor占用的内

1 CDH强制手动切换HA下active namenode后报如下错误：（nn1切换为standby,nn2切换为active）hadoop和hive执行报错，如下错误信息：Operation category READ is not supported in state standby.........2.重新启动zkfc（在sbin目录下）如果...

基于centos7.5，安装OS时安装包比较齐全。1 Python安装。需要Python 3.5+1.1wget --no-check-certificate https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz1.2 解压编译安装到：/usr/local/python3./configure --pr...

NotAssignedReplicaExceptionkafka.common.KafkaException: Should not set log end offset