kafka文件概述（最全）

1、数据倾斜定义数据分布不均，造成大量数据集中到一点，造成数据热点。2、数据倾斜的表现在执行任务的时候，任务进度长时间维持在99%左右；查看stage的执行情况时，卡在最后1-2个task长时间不动，查看task监控页面，发现某个或某两三个task运行的时间远远大于其他task的运行时间，这些task处理的数据量也远远大于其他task。注:一个spark任务的运行时间是由最后一个执行成功的task