Spark MLlib：用机器学习处理大数据

1. 核心概念

Spark MLlib是Apache Spark的分布式机器学习库，专为大规模数据处理设计：

• 分布式计算：利用Spark RDD/DataFrame在集群上并行处理数据
• 算法覆盖：提供分类、回归、聚类、协同过滤等算法
• 管道机制：支持特征提取→转换→训练→评估的完整工作流
• 性能优势：比单机框架（如scikit-learn）快10-100倍

2. 关键组件

from pyspark.ml import Pipeline
from pyspark.ml.feature import VectorAssembler, StandardScaler
from pyspark.ml.classification import LogisticRegression
from pyspark.ml.evaluation import BinaryClassificationEvaluator

3. 典型工作流

(1) 数据准备

# 创建Spark会话
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("MLlibDemo").getOrCreate()

# 加载数据（示例：泰坦尼克数据集）
data = spark.read.csv("titanic.csv", header=True, inferSchema=True)

(2) 特征工程

# 选择特征列
feature_cols = ["Pclass", "Age", "SibSp", "Parch", "Fare"]

# 创建特征向量
assembler = VectorAssembler(inputCols=feature_cols, outputCol="features")

# 标准化特征
scaler = StandardScaler(inputCol="features", outputCol="scaledFeatures")

(3) 模型训练

# 初始化逻辑回归模型
lr = LogisticRegression(
    featuresCol="scaledFeatures", 
    labelCol="Survived",
    maxIter=100
)

# 构建管道
pipeline = Pipeline(stages=[assembler, scaler, lr])

# 划分训练/测试集
train_data, test_data = data.randomSplit([0.8, 0.2])

# 训练模型
model = pipeline.fit(train_data)

(4) 模型评估

# 预测测试集
predictions = model.transform(test_data)

# 评估AUC
evaluator = BinaryClassificationEvaluator(labelCol="Survived")
auc = evaluator.evaluate(predictions)
print(f"模型AUC: {auc:.4f}")

4. 数学原理示例（逻辑回归）

MLlib的分布式逻辑回归通过优化对数似然函数实现： $$ \ell(\boldsymbol{\beta}) = \sum_{i=1}^{n} \left[ y_i \log(\sigma(\mathbf{x}_i^T \boldsymbol{\beta})) + (1-y_i) \log(1-\sigma(\mathbf{x}_i^T \boldsymbol{\beta})) \right] $$ 其中：

• $\sigma(z) = \frac{1}{1+e^{-z}}$ 是sigmoid函数
• $\boldsymbol{\beta}$ 为待求参数向量
• 使用L-BFGS或SGD分布式优化算法求解

5. 优势场景

场景	传统方案瓶颈	MLlib解决方案
10GB+数据	单机内存不足	分布式内存计算
流式数据	批处理延迟高	Structured Streaming集成
特征工程	手动流程复杂	自动化管道(Pipeline)

最佳实践建议：

1. 优先使用DataFrame API（比RDD API性能提升5倍）
2. 对于>1TB数据，启用spark.sql.shuffle.partitions优化分区
3. 使用MLflow跟踪实验参数和指标
4. GPU加速：在Spark 3.0+使用spark.rapids.sql.enabled配置