同济线代第七版笔记：从机器学习视角重看矩阵与特征值（附Python代码）

1. 矩阵运算在机器学习中的核心地位

矩阵运算构成了现代机器学习算法的数学基础。以图像识别为例，一张28×28像素的灰度图片可以直接表示为784维的列向量，而整个MNIST训练集60000张图片则构成60000×784的矩阵。这种数据表示方式天然适合矩阵运算：

import numpy as np
from sklearn.datasets import fetch_openml
mnist = fetch_openml('mnist_784', version=1)
X = mnist.data  # 70000x784矩阵
y = mnist.target.astype(np.uint8)

矩阵乘法在神经网络中体现为层与层之间的线性变换。假设输入层有784个神经元，隐藏层有256个神经元，则权重矩阵W的维度就是256×784：

W = np.random.randn(256, 784) * 0.01  # 初始化权重矩阵
hidden_layer = np.maximum(0, np.dot(W, X.T))  # ReLU激活函数

矩阵运算的优化直接决定了模型训练效率。现代深度学习框架如PyTorch和TensorFlow都内置了高度优化的矩阵运算库：

运算类型	CPU耗时(ms)	GPU耗时(ms)	加速比
矩阵乘法(1024×1024)	15.2	0.8	19×
矩阵求逆(512×512)	22.1	1.3	17×

提示：在实际编程中，应尽量使用向量化操作代替循环，Numpy的广播机制能显著提升计算效率

2. 特征值分解的工程实践价值

特征值分解是将方阵A分解为$A = PDP^{-1}$的过程，其中D是由特征值构成的对角矩阵。这个分解在机器学习中有着广泛应用：

2.1 主成分分析(PCA)

PCA通过计算协方差矩阵的特征向量来实现降维。假设我们有一个1000维的数据集要降到100维：

from sklearn.decomposition import PCA

pca = PCA(n_components=100)
X_pca = pca.fit_transform(X)

print("解释方差比例:", pca.explained_variance_ratio_.sum())

关键步骤解析：

1. 计算协方差矩阵 $C = \frac{1}{n}X^TX$
2. 对C进行特征值分解，按特征值大小排序
3. 取前k个特征向量组成投影矩阵

2.2 推荐系统中的SVD

奇异值分解(SVD)是特征值分解的推广，在推荐系统中用于矩阵补全：

from scipy.sparse.linalg import svds

ratings = np.random.randint(0, 5, size=(1000, 500))  # 用户-物品评分矩阵
U, sigma, Vt = svds(ratings, k=50)  # 降维到50维
reconstructed = U @ np.diag(sigma) @ Vt  # 重建评分矩阵

实际工程中还需要处理以下问题：

• 评分矩阵的稀疏性
• 冷启动问题
• 实时更新策略

3. 矩阵秩与模型复杂度控制

矩阵的秩衡量了其列向量的线性无关程度，这在机器学习中对应着模型的有效参数数量。考虑一个简单的线性回归案例：

from sklearn.linear_model import Ridge

# 设计矩阵X可能存在的共线性问题
X = np.random.randn(100, 10)
X[:, 5] = X[:, 3] + 0.1 * np.random.randn(100)  # 人为制造共线性

print("矩阵秩:", np.linalg.matrix_rank(X))  # 输出9而非10

# 使用岭回归解决秩亏问题
model = Ridge(alpha=1.0)
model.fit(X, y)

在深度学习中，秩的概念体现在：

• 梯度矩阵的秩影响参数更新方向
• 注意力机制中的键值矩阵秩决定信息容量
• 低秩分解用于模型压缩

4. 正定矩阵与优化问题

正定矩阵在凸优化中扮演关键角色。判断海森矩阵的正定性可以验证损失函数是否为严格凸函数：

def is_positive_definite(matrix):
    return np.all(np.linalg.eigvals(matrix) > 0)

# 二次型示例
Q = np.array([[2, -1], [-1, 2]])
print("矩阵正定:", is_positive_definite(Q))  # 输出True

在优化算法中的应用场景：

• 牛顿法需要正定的海森矩阵
• 共轭梯度法的收敛性依赖正定性
• SVM的核矩阵必须半正定

注意：实际应用中常使用数值稳定的Cholesky分解来验证正定性，而非直接计算特征值

5. 矩阵微积分在反向传播中的应用

神经网络训练的核心是链式法则的矩阵形式。以一个简单的两层网络为例：

def backward(dZ, cache):
    A_prev, W, b = cache
    m = A_prev.shape[1]
    
    dW = (1/m) * np.dot(dZ, A_prev.T)
    db = (1/m) * np.sum(dZ, axis=1, keepdims=True)
    dA_prev = np.dot(W.T, dZ)
    
    return dA_prev, dW, db

关键矩阵导数规则：

• $\frac{\partial(Wx)}{\partial x} = W^T$
• $\frac{\partial(x^TAx)}{\partial x} = (A+A^T)x$
• $\frac{\partial(a^TXb)}{\partial X} = ab^T$

6. 实际案例：图像风格迁移

风格迁移算法完美结合了矩阵分解和优化技术。其核心步骤包括：

1. 使用预训练CNN提取特征
2. 构建Gram矩阵捕捉风格特征
3. 优化内容损失和风格损失

def gram_matrix(features):
    # features是C×H×W的张量
    C, H, W = features.shape
    F = features.reshape(C, -1)
    return np.dot(F, F.T) / (C * H * W)

# 计算风格损失
style_gram = gram_matrix(style_features)
current_gram = gram_matrix(current_image_features)
style_loss = np.sum((current_gram - style_gram)**2)

这个案例展示了如何将线性代数概念：

• 矩阵乘法(Gram矩阵计算)
• 范数(损失函数)
• 优化(梯度下降) 有机结合解决复杂问题