Grouping sets aggregations (with rollups or cubes) are not allowed if aggregation function parameters overlap with the aggregation functions columns如果聚合函数参数与聚合函数列重叠，则不允许分组集聚合（使用汇总或多维数据集）Grouping sets

注：本文主要摘录于尚硅谷大数据的学习资料，仅作学习记录，请勿用于商业用途。Spark shuffle过程HashShuffle过程介绍Spark丰富了任务类型，有些任务之间数据流转不需要通过Shuffle，但是有些任务之间还是需要通过Shuffle来传递数据，比如wide dependency的group by key。Spark中需要Shuffle输出的Map任务会为每个Reduce创建对应的b

数据分析思维：漏斗思维，分类思维，平衡思维，A/B test，金字塔原理

在新的电脑上配置Python环境，pip安装第三方库时遇到了一些问题，记录一下。WARNING: Retrying (Retry(total=0, connect=None, read=None, redirect=None, status=None))after connection broken by 'ProtocolError('Connection aborted.',Connectio

我们都知道reduceByKey是RDD中常用的聚合操作。那它内部的执行原理是怎么样的呢？>>data.txtjavapythonphppythongoscalajavaval lines = sc.textFile("data.txt")val pairs = lines.map(s => (s, 1))val counts = pairs.red...