1. 矩阵加减法：数据预处理的核心操作

第一次接触机器学习数据集时，我盯着那个5000×784的MNIST手写数字矩阵发愣——这堆数字怎么就能让计算机认出"7"和"9"的区别？后来发现秘密就藏在最基础的矩阵加减法里。想象你有个Excel表格，每行是一个人，每列是身高体重等特征，矩阵加减就是批量调整这些数据的魔法棒。

在数据标准化时，我们常做矩阵减法。比如将所有特征减去均值向量：

import numpy as np
# 原始数据矩阵 (3个样本,2个特征)
X = np.array([[170, 65], 
              [180, 80],
              [160, 70]])
mean = np.mean(X, axis=0)  # 计算每列均值 [170, 71.66]
X_normalized = X - mean  # 广播机制自动扩展均值向量

这个操作让所有特征以0为中心分布，相当于把数据"摆正"位置。我在某电商用户分析项目里，发现不做这个减法操作，模型准确率直接掉了12%。

更实用的场景是处理缺失值。最近帮朋友处理医疗数据时，遇到个妙招：用矩阵加法补全缺失的体检指标。比如用同年龄段平均胆固醇值加上随机波动：

age_group_mean = np.array([4.8, 5.2, 4.9])  # 不同年龄组均值
missing_mask = np.isnan(data)  # 找到缺失值位置
data[missing_mask] = age_group_mean + np.random.normal(0, 0.1, size=np.sum(missing_mask))

2. 矩阵数乘：特征工程的秘密武器

去年优化推荐系统时，我发现矩阵数乘才是特征缩放的隐形冠军。那些说"直接除最大值"的教程都弱爆了——真实场景需要更精细的控制。比如广告点击率预测中，用户活跃度和消费金额的量纲能差出10^6倍，这时候就需要不同的缩放系数。

看个实际案例：电商商品特征矩阵包含价格(0-10000)和收藏量(0-500)。用对角矩阵做个性化缩放：

features = np.array([[8999, 210],
                     [359, 45]])
# 构造缩放矩阵
scaling = np.diag([1/10000, 1/500])  
scaled_features = features @ scaling  # 矩阵乘法实现分别缩放

这个操作让所有特征落在[0,1]区间，比StandardScaler更可控。我在实践中发现，对于稀疏特征，用对数缩放效果更好：

scaling = np.diag([1/np.log(10000), 1/500])  # 价格取对数缩放

更高级的用法是在注意力机制中。Transformer模型里的key、query、value矩阵，本质上都是对输入向量做不同的数乘组合。这也是为什么理解矩阵数乘，对理解BERT这类模型如此重要。

3. 矩阵乘法：神经网络的计算基石

记得第一次用numpy实现全连接层时，被那个X @ W + b震撼到了——原来神秘的神经网络前向传播，就是一堆矩阵乘法！后来在CUDA调优时才发现，矩阵乘法的优化程度直接决定模型训练速度。

举个卷积神经网络的实际例子。当处理224×224的RGB图像时，实际是把图像展开为150528维向量(224×224×3)，与权重矩阵相乘：

# 假设是ResNet第一层
input_dim = 150528
hidden_dim = 64
W = np.random.randn(input_dim, hidden_dim) * 0.01
b = np.zeros(hidden_dim)
output = X_flatten @ W + b  # 这就是全连接层的本质

在推荐系统中，矩阵乘法更成了核心算法。比如协同过滤的预测评分矩阵，就是用户矩阵乘物品矩阵的转置：

user_emb = np.random.randn(num_users, 32)  # 用户嵌入
item_emb = np.random.randn(num_items, 32)  # 物品嵌入
ratings = user_emb @ item_emb.T  # 评分预测

实测在百万级用户场景下，用分块矩阵乘法比直接乘快3倍以上。这也是为什么深度学习框架都在拼命优化矩阵乘法。

4. 矩阵转置：维度变换的艺术

在NLP项目里处理词向量时，我踩过一个坑：忘记转置导致attention计算完全错误。从此明白矩阵转置不是简单的行列互换，而是维度语义的转换。

比如在自注意力机制中，Q、K、V的计算：

Q = X @ W_Q  # (batch, seq_len, d_k)
K = X @ W_K  # (batch, seq_len, d_k)
attention = Q @ K.transpose(0,1,3,2)  # 关键转置！(batch, seq_len, seq_len)

这个转置让query和key的维度对齐，才能计算每个词对其他词的关注度。有次忘记转置，模型完全学不到有效特征。

在计算机视觉中，转置卷积更是妙用。做图像超分辨率时，常规卷积会缩小尺寸，而转置卷积能智能地扩大特征图：

# 转置卷积实现上采样
upsampled = nn.ConvTranspose2d(in_channels, out_channels, 
                              kernel_size=3, stride=2, padding=1)

这种操作在生成对抗网络(GAN)中至关重要，也是StyleGAN等模型能生成高清图像的关键。

5. 矩阵的幂：从PageRank到图神经网络

谷歌最早的PageRank算法让我第一次见识到矩阵幂的威力。实际上，任何图结构数据都能用邻接矩阵的幂运算挖掘深层关系。

比如社交网络分析中，计算用户影响力：

A = np.array([[0,1,1],  # 邻接矩阵
              [1,0,0], 
              [0,1,0]])
# 二阶关系矩阵
A_square = np.linalg.matrix_power(A, 2)  
# 三阶关系矩阵
A_cube = np.linalg.matrix_power(A, 3)  

这个幂运算能发现"朋友的朋友"这类间接关系。在GNN中，多次矩阵乘法本质上是在聚合多跳邻居信息。

更惊艳的是在马尔可夫链中的应用。预测用户购买行为时，状态转移矩阵的n次幂直接给出n步后的概率分布：

P = np.array([[0.9, 0.1],  # 状态转移矩阵
              [0.3, 0.7]])
# 预测三步后的状态分布
P_3 = np.linalg.matrix_power(P, 3)  

6. 行列式：从特征选择到可逆性判断

在特征选择时，行列式给了我意想不到的帮助。当发现某组特征的行列式接近0时，就意味着存在线性相关，应该删除冗余特征。

比如在金融风控模型中：

features = np.array([[income, age, credit_score], 
                     [80000, 35, 750],
                     [82000, 36, 740]])
det = np.linalg.det(features[1:, :])  # 计算行列式
if abs(det) < 1e-5:
    print("警告：特征线性相关！")

在神经网络初始化时，行列式更重要。去年调试Transformer模型时，发现当初始化矩阵的行列式过大或过小，都会导致梯度爆炸或消失。后来采用Xavier初始化，保证行列式在合理范围：

W = np.random.randn(d_in, d_out) / np.sqrt(d_in)  # 控制行列式大小

7. 综合应用：从PCA到自编码器

主成分分析(PCA)是我见过最优雅的矩阵运算组合。先用协方差矩阵的特征分解降维：

# 计算协方差矩阵
cov = (X.T @ X) / (X.shape[0] - 1)
# 特征分解
eigen_values, eigen_vectors = np.linalg.eig(cov)
# 投影到主成分
X_pca = X @ eigen_vectors[:, :k]

在自编码器中，这些操作变得更加有趣。训练时发现，编码器和解码器的权重矩阵最好是转置关系，这样能保证信息无损压缩：

class Autoencoder:
    def __init__(self):
        self.encoder = np.random.randn(784, 32)
        self.decoder = self.encoder.T  # 关键设计！

这种矩阵运算的对称美，让我想起第一次看到奇异值分解(SVD)时的震撼。在推荐系统中，SVD能把用户-物品评分矩阵分解成三个有明确含义的矩阵，这种降维方式比直接矩阵乘法更富有解释性。