他们通过共享 EditLog（写操作日志）来保证数据一致，并且DataNode会同时向两个NameNode汇报最新信息，来及时更新block情况，当Active挂了后，Standby会变成新的Active来保证高可用。👉 早期 Hadoop 自带的 MapReduce 既负责调度又负责计算，后来为了让其他计算框架（不仅仅是 MR）也能用 Hadoop 集群的资源，就把。Combiner的流程是在

Shuffle指的是集群范围内跨节点、跨进程的数据分发。之前学的几个算子比如map，filter，mapPartition，flatmap都是用于RDD内部的数据转换，不会引入Shuffle计算而groupByKey，sortByKey，reduceByKey，aggregateByKey都会引入Shuffle计算，并且这些算子只可以作用在paired（KV）RDD上。这是最核心的瓶颈。Map 端

层级就像做菜…如果没有这一层…ODS刚买回来的带泥土豆数据错了没法回溯，只能去 MySQL 生产库查，会被运维打死。DWD洗净削皮切好的土豆丝每个人都要自己写代码去解析“分转元”、去解析 JSON，重复造轮子。DWS半成品预制菜(土豆肉丝)每次查报表都要把几亿张订单和用户表 Join 一次，集群资源瞬间耗尽。APP端上桌的成品菜报表加载速度极慢，老板点开页面要等 5 分钟。维度表iPhone 15

机器学习基础

Shuffle指的是集群范围内跨节点、跨进程的数据分发。之前学的几个算子比如map，filter，mapPartition，flatmap都是用于RDD内部的数据转换，不会引入Shuffle计算而groupByKey，sortByKey，reduceByKey，aggregateByKey都会引入Shuffle计算，并且这些算子只可以作用在paired（KV）RDD上。这是最核心的瓶颈。Map 端

机器学习基础