从‘歪楼’到‘正投影’：用互补子空间和投影矩阵，直观理解机器学习中的降维与特征提取

想象你站在一栋倾斜的摩天大楼前，阳光将它的影子笔直投射在地面上。这个简单的场景，恰恰揭示了机器学习中降维与特征提取的核心思想——如何从复杂的高维数据中，提取最有价值的“正投影”，同时舍弃冗余的“歪楼”部分。本文将带你用互补子空间和投影矩阵的几何视角，重新理解PCA、线性回归等算法背后的数学之美。

1. 空间分解：数据世界的“建筑学”

任何数据集都可以看作高维空间中的点云。就像建筑师需要理解建筑的结构一样，数据科学家需要掌握空间分解的思维：

• 主成分子空间（W）：相当于建筑物的承重结构，承载了数据的主要变异方向。在PCA中，这就是前k个主成分张成的空间。
• 噪声子空间（U）：如同建筑中的装饰性元素，包含次要变异和噪声。数学上表示为W的正交补空间。

import numpy as np
from sklearn.decomposition import PCA

# 生成具有线性相关性的三维数据
np.random.seed(42)
X = np.dot(np.random.rand(100, 2), np.random.rand(2, 3))  
pca = PCA(n_components=2)
X_proj = pca.fit_transform(X)  # 投影到主成分子空间

提示：在三维数据集中，如果点云主要分布在一个平面附近，那么该平面就是天然的W空间，而垂直于平面的直线方向构成U空间。

2. 投影矩阵：数据压缩的“光学仪器”

投影矩阵是将高维数据映射到低维子空间的数学工具，就像用激光笔在墙上投射清晰的二维图案：

正交投影矩阵的构造公式： $$ P = A(A^TA)^{-1}A^T $$ 其中A的列向量构成W空间的基。这个看似简单的矩阵，实则是许多机器学习算法的核心：

1. 在PCA中，P将数据投影到主成分方向
2. 在线性回归中，P将响应变量投影到特征矩阵的列空间
3. 在推荐系统中，P可以实现用户评分矩阵的低秩近似

3. 从QR分解到最小二乘：数值稳定的投影之道

当处理实际数据时，数值稳定性成为关键考量。QR分解提供了最稳健的投影实现方式：

# 手动实现基于QR分解的最小二乘解
def qr_least_squares(A, b):
    Q, R = np.linalg.qr(A)
    return np.linalg.solve(R, Q.T @ b)

# 对比不同方法的数值稳定性
A = np.array([[1, 1], [1e-8, 0], [0, 1e-8]])
b = np.array([2, 1e-8, 1e-8])

# Householder QR (稳定)
x_qr = qr_least_squares(A, b)  

# 正规方程 (可能不稳定)
x_normal = np.linalg.solve(A.T @ A, A.T @ b)  

为什么QR分解更优？因为它避免了直接计算$A^TA$可能导致的数值病态问题。这就像用精密的激光测距仪替代粗糙的卷尺——虽然测量的都是距离，但精度天差地别。

4. 实战：从数学到算法的完整链条

让我们用投影的视角重新理解PCA的工作流程：

1. 中心化数据：将数据点云平移至原点周围

   X_centered = X - np.mean(X, axis=0)
   

2. 构造投影矩阵：

   • 计算协方差矩阵$C = X^TX/(n-1)$
   • 特征分解得到主成分方向$C=W\Lambda W^T$
   • 取前k个特征向量构成投影矩阵$P_k = W_kW_k^T$

3. 降维映射：

   # 等价于 sklearn 的 PCA.transform
   def pca_projection(X, k=2):
       cov = X.T @ X / (X.shape[0]-1)
       eigvals, eigvecs = np.linalg.eigh(cov)
       Wk = eigvecs[:, -k:]  # 取最大k个特征值对应向量
       return X @ Wk  # 投影到主成分空间
   

这种实现方式直接体现了投影的几何本质：保留数据在主方向上的“影子”，舍弃正交方向的波动。在实际项目中，我发现当数据维度超过1000时，随机化SVD算法能更高效地计算近似投影矩阵。

5. 超越正交：斜投影在机器学习中的特殊价值

虽然正交投影占据主流，但斜投影在某些场景下展现出独特优势：

• 带约束的回归问题：当参数需要满足线性约束$C\beta = d$时，解可以表示为原始空间的斜投影
• 多任务学习：不同任务间的参数共享结构可以通过斜投影建模
• 非正交特征选择：当重要特征之间存在相关性时，斜投影可能比正交分解更合理

斜投影矩阵的一般形式： $$ P = A(B^TA)^{-1}B^T $$ 其中A和B的列空间不需要正交。这就像用倾斜的光源照射物体，虽然投影变形了，但可能反而突出了某些重要特征。

在金融风控领域，我曾用斜投影方法处理高度相关的宏观经济指标。相比PCA，这种方法保留了指标间的经济意义关联，使模型更具可解释性。