Spark(SparkStreaming)消费Kafka消息--使用mysql或redis维护消费索引（保证消费的数据不重复不丢失）, '多主题，多分区'

报错连接zookeeper超时swhua@swhua:~/Desktop/kafka_2.13-2.7.0$ bin/kafka-topics.sh --create --zookeeper localhost:9092 --replication-factor 1 --partitions 1 --topic matchresult --config cleanup.policy=compact

spark的shuffle流程1.shuffle发生在宽依赖算子划分阶段的时候，但是宽依赖算子不一定发生shuffle2.shuffle分为两个阶段，一个是shuffle-write，另一个是shuffle-read3.在shuffle-执行write时，我们要可以选择一个分区器，比如有hashpartition、rangepartition，还有用户自定义的分区器4.在write时，还会生成一个

1. 格式化集群时，报错原因- 当前⽤户使⽤不当- /etc/hosts⾥的映射关系填写错误- 免密登录认证异常- jdk环境变量配置错误- 防⽕墙没有关闭2. namenode进程没有启动的原因：- 当前⽤户使⽤不当- 重新格式化时，忘记删除${hadoop.tmp.dir}⽬录下的内容- ⽹络震荡，造成edit⽇志⽂件的事务ID序号不连续3. datanode出现问题的原因- /etc/hos