Spark 集群的独立部署环境中，不需要依赖其他的资源调度框架，自身就实现了资源调 度的功能，所以环境中还有其他两个核心组件：Master和Worker，这里的Master是一个进 程，主要负责资源的调度和分配，并进行集群的监控等职责，类似于Yarn环境中的RM, 而 Worker 呢，也是进程，一个Worker运行在集群中的一台服务器上，由Master分配资源对 数据进行并行的处理和计算，类似于

但是显然，mapPartitions方法的输出是按分区进行输出，先处理了分区1的(1, 2)，再处理分区2的(3, 4)，这显然是将整个分区数据全部加载后再进行的处理。但需要注意，shuffle过程会打乱数据的顺序，比如一个RDD(List(1, 2, 3, 4, 5, 6)，6)在缩减为2分区时，并不会严格按照(1，2，3)一个分区，(4，5，6)一个分区，而是会随机分配。也就是说，需要先对1进

但是，随着Spark的发展，对于野心勃勃的Spark团队来说，Shark对于Hive的太多依 赖（如采用Hive的语法解析器、查询优化器等等），制约了Spark的One Stack Rule Them All 的既定方针，制约了Spark各个组件的相互集成，所以提出了SparkSQL项目。因为join是一个代价较大的操作，也可能会产生一个较大的数据 集。尽管这个实例通常是对输入形参的修改，但是我们

结合我们介绍的准实时、微批次概念，SparkStreaming会将数据流按照更小的时间单位（如3s）划分为多个微批数据，由采集器将这些数据转化为DStream（一系列离散RDD），Driver会基于这些DStream划分stage、job，分发给Executor去做实际的取数据、计算数据的工作。下图是对window操作的一个解析。给定一个由(键，事件)对构成的 DStream，并传递一个指 定如何

至此，测试完成。下一篇文章将讨论数据清洗部分的小型数仓搭建，以让每部分数据的归属更加明确。

当前的功能已经实现，在下篇文章中，会对数仓模块的内容进行修复 + 优化处理。

但是，随着Spark的发展，对于野心勃勃的Spark团队来说，Shark对于Hive的太多依 赖（如采用Hive的语法解析器、查询优化器等等），制约了Spark的One Stack Rule Them All 的既定方针，制约了Spark各个组件的相互集成，所以提出了SparkSQL项目。因为join是一个代价较大的操作，也可能会产生一个较大的数据 集。尽管这个实例通常是对输入形参的修改，但是我们

结合我们介绍的准实时、微批次概念，SparkStreaming会将数据流按照更小的时间单位（如3s）划分为多个微批数据，由采集器将这些数据转化为DStream（一系列离散RDD），Driver会基于这些DStream划分stage、job，分发给Executor去做实际的取数据、计算数据的工作。下图是对window操作的一个解析。给定一个由(键，事件)对构成的 DStream，并传递一个指 定如何

当前的功能已经实现，在下篇文章中，会对数仓模块的内容进行修复 + 优化处理。

文档版本: 2026-06-07背景：数据部分开发完成，暴露了SparkSubmit的能力，需要由后端工程师将Spark提交和agent分析整合。特整理此文档，让后端工程师了解仓库现状适用对象: 接手后端开发的工程师（阅读本文档前请先完整阅读CLAUDE.md和README.md核心原则: 本文档描述的是（what exists），而非「理想设计」。所有实现请基于实际代码结构，不要猜测。