理解 Spark 的执行模型是掌握其性能调优的关键。Spark 采用了三层执行模型：fill:#333;color:#333;color:#333;fill:none;Job 1Job 2Job NStage 1-1Stage 1-2Task 1-1-1Task 1-1-2Task 1-1-NTask 1-2-1Task 1-2-2Task 1-2-N定义与关系Job（作业）由 Action 操作

第一部分 Spark核心概述-Spark是什么

Spark SQL 是 Apache Spark 中用于处理结构化数据的模块。它提供了一个名为 DataFrame 的编程抽象，并且可以与 Spark 生态系统中的其他组件无缝集成。核心价值主张Spark SQL 让你能够使用 SQL 查询或 DataFrame API 来查询 Spark 程序内的结构化数据。fill:#333;color:#333;color:#333;fill:none;Sp

Scan：负责从数据源读取数据，支持分区剪枝和列裁剪Filter：负责应用WHERE条件过滤数据行，支持谓词下推Project：负责选择最终输出的字段，支持表达式计算希望这种将sql与算子对应起来的讲解方式，能更好的让读者理解，这一篇涉及的不论是sql还是算子都是基础款，后续会一点一点增加复杂程度。

在Spark SQL中，Aggregate算子用于处理分组和聚合操作，是数据处理中的关键步骤。它通常出现在执行计划中，当查询包含GROUP BY子句或聚合函数时。Aggregate算子负责将数据分组并计算聚合值（如总和、计数、平均值等）。根据数据特性、内存配置和Spark版本，Spark会选择不同的聚合策略，主要包括和。理解这些类型有助于优化查询性能。Aggregate算子是Spark SQL中处

Exchange算子是Spark SQL中负责数据重分布（Data Redistribution）的关键算子，它实现了Spark的shuffle操作。当数据需要在不同节点间重新分区时，Exchange算子会被引入到执行计划中。它本质上是Spark分布式计算中数据交换的基础，负责将数据按照特定规则重新组织，以便后续操作能够高效执行。Exchange算子是Spark SQL中至关重要的shuffle操

前面几篇介绍的算子大多与单表查询相关，但实际工作中少不了多表关联，因此咱们这一篇就来聊一聊join相关的算子。

Generate是Spark执行explode操作的物理算子，负责将输入行转换为多行输出。根据不同的explode函数，Spark会使用不同类型的生成器（Generator）。

窗口函数在Spark中通过WindowExec物理算子实现，它负责处理OVER子句中定义的分区、排序和框架边界。

在Spark SQL中，排序操作通过SortExec物理算子实现。不同的SQL排序语法会产生不同的执行计划，涉及不同的数据分布和排序策略。小数据全局排序: 使用ORDER BY，但注意内存限制大数据局部排序: 使用SORT BY或CLUSTER BY优化数据分布: 使用DISTRIBUTE BY为后续操作准备数据监控内存使用: 排序操作容易导致内存溢出，需要合理配置利用自适应查询: 启用Spark