Spark Streaming：实时数据处理

Spark Streaming 是 Apache Spark 生态中的核心组件，用于处理实时数据流。它将连续的数据流划分为微批次（micro-batches），通过 Spark 引擎实现高吞吐、容错的流式计算。以下是关键解析：

1. 核心概念

• 离散化流（DStream）
  基础抽象单元，表示连续数据流按时间切片形成的序列：
  $$DStream = {RDD_1, RDD_2, ..., RDD_t}$$
  其中每个 $RDD$ 包含特定时间窗口内的数据。

• 微批处理（Micro-Batching）
  将数据流按固定间隔（如 1 秒）分割为小批次，转化为 Spark 可处理的 RDD 序列。

2. 架构与工作流程

graph LR
A[数据源] --> B(Spark Streaming)
B --> C{DStream转换}
C --> D[Spark引擎]
D --> E[输出至外部系统]

• 数据源：支持 Kafka、Flume、TCP Socket 等。
• 转换操作：类比 RDD 的 map, filter, reduceByKey 等。
• 输出操作：将结果写入数据库、HDFS 或 Dashboard。

3. 容错机制

• 血缘关系（Lineage）：通过 RDD 依赖链重建丢失数据。
• 检查点（Checkpointing）：定期保存状态至可靠存储（如 HDFS），公式表示为：
  $$S_{t+1} = f(S_t, D_t)$$
  其中 $S_t$ 是时间 $t$ 的状态，$D_t$ 是当前批次数据。

4. 代码示例：词频统计

from pyspark import SparkContext
from pyspark.streaming import StreamingContext

# 初始化流上下文（批次间隔=1秒）
sc = SparkContext("local[2]", "WordCount")
ssc = StreamingContext(sc, 1)

# 监听本地TCP端口
lines = ssc.socketTextStream("localhost", 9999)

# 拆分单词并计数
words = lines.flatMap(lambda line: line.split(" "))
pairs = words.map(lambda word: (word, 1))
word_counts = pairs.reduceByKey(lambda x, y: x + y)

# 打印结果
word_counts.pprint()

ssc.start()         # 启动计算
ssc.awaitTermination()  # 等待终止

5. 应用场景

• 实时监控：服务器日志异常检测
• 动态推荐：用户行为实时分析
• 金融风控：欺诈交易识别

6. 优势与局限

最佳实践：对延迟敏感场景（如毫秒级响应）可结合 Structured Streaming（Spark 2.0+ 的声明式 API）。