写文章
- @ITwangnengjie
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
CDH集群数据迁移distcp
环境为CDH6脚本方式：echo "123456" | kinit wnjhadoop distcp -Ddistcp.bandwidth=500000000 -Dipc.client.fallback-to-simple-auth-allowed=true hdfs://10.44.200.101:8020/user/wnj/hivetable/test/ /user/hive/warehous
记录spark-streaming-kafka-0-10_2.11的2.3.2版本StructuredStreaming水印除重操作OOM解决
代码主要部分：val df = kafkaReadStream(spark, KAFKA_INIT_OFFSETS, KAFKA_TOPIC).option("maxOffsetsPerTrigger",1000)//限流:对每个触发器间隔处理的最大偏移量的速率限制。指定的偏移量总数将按比例划分到不同卷的topicPartitions上。.option("fetchOffset.numRetrie
到底了