spark 动态shuffle 合并shuffle

动态资源分配，主要是spark在运行中可以相对合理的分配资源。

spark 内存管理和内存计算示例

rdd中的action算子，会触发job任务计算。以collect算子举例，可以看到最后是调用的DAGScheduler的submitJob方法DAGScheduler的runJob调用的是submitJob方法。submitJob是先生成新的jobId，发送JobSubmitted的消息。DAGScheduler收到JobSubmitted消息后，调用handleJobSubmitted方法。h

Worker是Spark在local-cluster部署模式和Standalone部署模式中对工作节点的资源和Executor进行管理的服务。Worker一方面向Master汇报自身所管理的资源信息，一方面接收Master的命令运行Driver或者为Application运行Executor。同一个机器上可以同时部署多个Worker服务，一个Worker也可以启动多个Executor。当Execu

官网：https://modelcontextprotocol.io/introductionMCP采用的client-server架构，mcp server是对应的工具实现，用于实际与外部世界交互。mcp client需要对应的大模型进行开发适配。mcp client和mcp server通过mcp protocol交互，类似http协议。与web开发一样，重点是在实现各种mcp server。

hive/sparksql/presto 时区转换和时间类型转换

官网：https://modelcontextprotocol.io/introductionMCP采用的client-server架构，mcp server是对应的工具实现，用于实际与外部世界交互。mcp client需要对应的大模型进行开发适配。mcp client和mcp server通过mcp protocol交互，类似http协议。与web开发一样，重点是在实现各种mcp server。

Shuffle read的入口是ShuffleRDD的compute方法。它获取shuffleReader，执行对应的read方法。创建reader的时候首先获取要读的shuffle block对应的信息，创建shuffle reader。read创建wrappedStreams：Iterator[(BlockId, InputStream)]，一个block对应一个input streamrec