深度学习阶段总结(2)--矩阵

张剑龙

261人浏览 · 2026-08-16 19:45:33

张剑龙 · 2026-08-16 19:45:33 发布

前言

在前面深度学习理论推导时，我们也经常看到矩阵表达式，它可以让事情变得更加清晰，下面我们用矩阵的思维来看待问题。

级数

给你一个级数表达式：

$\sum \limits_{i=1}^{n}{a_i b_i}$

首先你会想到什么？

想到 头疼，头大，头爆炸？

不要害怕，遇到这种不熟悉的，先转成我们熟悉，能理解的，级数，不就是 连加 嘛：

$\sum \limits_{i=1}^{n}{a_i b_i}=a_1b_1+a_2b_2+a_3b_3+\dots+a_nb_n$

是不是很清楚明白？

很多事情就是这样，万事开头难，但只要迈出一步，就能看到胜利的希望。

矩阵

但我想说的不是这个，当接触多了这些数学表达式，我首先想到的是 向量的点积，矩阵的乘法：

$\sum \limits_{i=1}^{n}{a_i b_i}=\vec{a}\cdot \vec{b}=(a_1,a_2,\dots,a_n)\cdot(b_1,b_2,\dots,b_n)$

在矩阵的世界中，向量通常用列向量表示：

$A=\begin{bmatrix} a_1\\ a_2\\ \dots\\ a_n \end{bmatrix}, B=\begin{bmatrix} b_1\\ b_2\\ \dots\\ b_n \end{bmatrix}$

那么

$\sum \limits_{i=1}^{n}{a_i b_i}=a_1b_1+a_2b_2+\dots+a_nb_n\\[10pt] =A^\top B %% A^T =\begin{bmatrix} a_1&a_2&\dots&a_n \end{bmatrix} %% B \begin{bmatrix} b_1\\ b_2\\ \dots\\ b_n \end{bmatrix}$

对于这种向量相乘，还有这样的特性：

$A^\top B=B^\top A\\[10pt]$

这也很好理解，不就是用到了小学学过的乘法交换律吗？即：

$a_1b_1+a_2b_2+\dots+a_nb_n=b_1a_1+b_2a_2+\dots+b_na_n$

但是这个变形大有用处, 之前我们曾在多元线性回归中用它提取过矩阵的公共项。

一起来回顾一下:

$d_i=\frac{\partial{E}}{\partial{w_j}}=(XW-Y)^\top\begin{bmatrix} x_{1j}\\[10pt] x_{2j}\\[10pt] ...\\[10pt] x_{mj}\\[10pt] \end{bmatrix}\\$

其中 $d_i$ 是一个数值, 那么有:

$\frac{\partial{E}}{\partial{W}} =\begin{bmatrix} d_1\\[10pt] d_2\\[10pt] ...\\[10pt] d_n\\[10pt] \end{bmatrix} =\begin{bmatrix} d_1 & d_2 & ... & d_n \end{bmatrix}^\top \\[10pt] =\begin{bmatrix} (XW-Y)^\top\begin{bmatrix} x_{11}\\[10pt] x_{21}\\[10pt] ...\\[10pt] x_{m1}\\[10pt] \end{bmatrix}& (XW-Y)^\top\begin{bmatrix} x_{12}\\[10pt] x_{22}\\[10pt] ...\\[10pt] x_{m2}\\[10pt] \end{bmatrix}& ...& (XW-Y)^\top\begin{bmatrix} x_{1n}\\[10pt] x_{2n}\\[10pt] ...\\[10pt] x_{mn}\\[10pt] \end{bmatrix}\\[10pt] \end{bmatrix}^\top\\$

提取公共项

下面 A,B,C,W 全是矩阵表示

右乘提取公共项, $\in R^{a\times b},W\in R^{b\times c}$ :

$\begin{bmatrix} A\cdot W\\[10pt] B\cdot W\\[10pt] C\cdot W \end{bmatrix} =\begin{bmatrix} A\\[10pt] B\\[10pt] C \end{bmatrix}W$
左乘提取公共项, $W\in R^{c\times b}, A,B,C \in R^{a\times b}$ :

$\begin{bmatrix} W\cdot A& W\cdot B& W\cdot C \end{bmatrix} =W\begin{bmatrix} A& B& C& \end{bmatrix}$
如果是其他形式，可以先适当变换，变成上面两种形式后再提取公共项，例如上面的例子

当然，还有些其他形式的，看上去很像，但不一定能直接提，例如:

$\begin{bmatrix} W\cdot A\\[10pt] W\cdot B\\[10pt] W\cdot C \end{bmatrix} =\begin{bmatrix} W & 0 & 0 \\[10pt] 0 & W & 0 \\[10pt] 0 & 0 & W \end{bmatrix} \begin{bmatrix} A \\[10pt] B \\[10pt] C \end{bmatrix} =(I_3 \otimes W) \begin{bmatrix} A\\[10pt] B\\[10pt] C \end{bmatrix}$

但是, 当 $W\cdot A \in R^{1\times 1}$ 时，也就是一个数值, 我们就有可以操作变化的空间了,令:

$a=W\cdot A\text{ , } b=W\cdot B\text{ , } c=W\cdot C$

代入变换,并用左乘提取公共项:

$U=\begin{bmatrix} W\cdot A\\[10pt] W\cdot B\\[10pt] W\cdot C \end{bmatrix} =\begin{bmatrix} a\\[10pt] b\\[10pt] c \end{bmatrix} =\begin{bmatrix} a& b& c \end{bmatrix}^\top\\[10pt] =\begin{bmatrix} W\cdot A& W\cdot B& W\cdot C \end{bmatrix}^\top =W\begin{bmatrix} A& B& C \end{bmatrix}$

求平方和

用矩阵来求平方和形如:

$A^\top A$

拿向量来理解,还记得向量怎么相乘吗？假如 A 是一个 n 维列向量，那么:

$A=\begin{bmatrix} a_1\\ a_2\\ \dots\\ a_n \end{bmatrix}\\[10pt] A^\top = \begin{bmatrix} a_1&a_2&\dots&a_n \end{bmatrix}$

向量相乘:

$A^\top A = \sum \limits_{i=1}^{n}{a_i^2}=a_1^2+a_2^2+\dots+a_n^2$

所以,当你看到 $\sum \limits_{i=1}^{n}{a_i^2}$ 时, 马上联想到 矩阵 $A^\top A$ 。

我们在多元线性回归中其实见过:

$E=\frac{1}{2}RSS＝\frac{1}{2}\sum\limits_{i=1}^{m}{({x_i}^T W-y_i)^2}\\[10pt] =\frac{1}{2}(XW-Y)^T(XW-Y)\\[10pt]$

其中

$u_i={x_i}^T W-y_i=x_{i1}w_1+x_{i2}w_2+...+x_{in}w_n-y_i\\[10pt] E=\frac{1}{2}\sum\limits_{i=1}^{m}{u_i}^2=\frac{1}{2}(u_1^2+u_2^2+...+u_m^2)$

这再次揭示出矩阵与级数求和之间的联系是非常密切的, 当你看到级数求和时, 马上就应该联想到 矩阵。

矩阵的意义

线性方程组

我们刚开始学习矩阵时, 是从解线性方程组开始的:

$1x+2y+3z=6\\ 2x+3y+4z=9\\ 3x+4y+5z=12\\$

那它用矩阵来表示为:

$\begin{bmatrix} 1&2&3\\ 2&3&4\\ 3&4&5\\ \end{bmatrix} \begin{bmatrix} x\\ y\\ z\\ \end{bmatrix} =\begin{bmatrix} 6\\ 9\\ 12\\ \end{bmatrix}$

那时候是说数学家偷懒, 不愿意写那么多的线性方程组, 所以才用矩阵来表示。

后来, 我们再从向量的角度上去看待矩阵, 发现矩阵是用来进行向量变换的(拉伸与旋转), 简直大学时期的恶梦!

向量变换

在上例中, 我们将向量 $\vec{b}=(x,y,z)$ 变换为 $(6, 9, 12)$ , 一切向量皆矩阵, 令:

$A=\begin{bmatrix} 1&2&3\\ 2&3&4\\ 3&4&5\\ \end{bmatrix}, X=\begin{bmatrix} x\\ y\\ z\\ \end{bmatrix}, Y=\begin{bmatrix} 6\\ 9\\ 12\\ \end{bmatrix}\\[10pt] A\cdot X=Y$

如果我们再多来一些向量, 令:

$A=\begin{bmatrix} a_{11}&a_{12}&\dots&a_{1n}\\[10pt] a_{21}&a_{22}&\dots&a_{2n}\\[10pt] \dots&\dots&\dots&\dots\\[10pt] a_{m1}&a_{m2}&\dots&a_{mn}\\[10pt] \end{bmatrix}\\[10pt] % 向量 \vec{x_1}=\begin{bmatrix} x_{11}\\ x_{21}\\ \dots\\ x_{n1}\\ \end{bmatrix}, \vec{x_2}=\begin{bmatrix} x_{12}\\ x_{22}\\ \dots\\ x_{n2}\\ \end{bmatrix}, \vec{y_1}=\begin{bmatrix} y_{11}\\ y_{21}\\ \dots\\ y_{n1}\\ \end{bmatrix}, \vec{y_2}=\begin{bmatrix} y_{12}\\ y_{22}\\ \dots\\ y_{n2}\\ \end{bmatrix}\\[10pt] % 关系 A\cdot \vec{x_1}= \vec{y_1}\\[10pt] A\cdot \vec{x_2}= \vec{y_2}\\[10pt]$

是不是可以看作:

$\begin{bmatrix} A\cdot \vec{x_1}& A\cdot \vec{x_2} \end{bmatrix} =\begin{bmatrix} \vec{y_1}& \vec{y_2} \end{bmatrix} =\begin{bmatrix} y_{11}&y_{12}\\ y_{21}&y_{22}\\ \dots&\dots\\ y_{n1}&y_{n2}\\ \end{bmatrix}$

如果我把 $\vec{x_1}$ 与 $\vec{x_2}$ 看作是一个矩阵的两列, 再次用矩阵来表示:

$\begin{bmatrix} A\cdot \vec{x_1}& A\cdot \vec{x_2} \end{bmatrix} =\begin{bmatrix} A\cdot \begin{bmatrix} x_{11}\\ x_{21}\\ \dots\\ x_{n1}\\ \end{bmatrix}& A\cdot \begin{bmatrix} x_{12}\\ x_{22}\\ \dots\\ x_{n2}\\ \end{bmatrix} \end{bmatrix}\\[10pt] =\begin{bmatrix} a_{11}&a_{12}&\dots&a_{1n}\\[10pt] a_{21}&a_{22}&\dots&a_{2n}\\[10pt] \dots&\dots&\dots&\dots\\[10pt] a_{m1}&a_{m2}&\dots&a_{mn}\\[10pt] \end{bmatrix} \begin{bmatrix} x_{11}&x_{12}\\[10pt] x_{12}&x_{22}\\[10pt] \dots&\dots\\[10pt] x_{n1}&x_{n2}\\[10pt] \end{bmatrix} =\begin{bmatrix} y_{11}&y_{12}\\[10pt] y_{21}&y_{22}\\[10pt] \dots&\dots\\[10pt] y_{n1}&y_{n2}\\[10pt] \end{bmatrix}$

是不是有点熟悉了? 在多元线性回归中其实见过:

$\\[10pt] \begin{bmatrix} x_{11}&x_{12}&\dots&x_{1n}\\ x_{21}&x_{22}&\dots&x_{2n}\\ \dots\\ x_{m1}&x_{m2}&\dots&x_{mn}\\ \end{bmatrix} \begin{bmatrix} w_{11}&w_{21}&\dots&w_{c1}\\ w_{12}&w_{22}&\dots&w_{c2}\\ \dots\\ w_{1n}&w_{2n}&\dots&w_{cn}\\ \end{bmatrix} =\begin{bmatrix} u_{11}&u_{12}&\dots&u_{1c}\\ u_{21}&u_{22}&\dots&u_{2c}\\ \dots\\ u_{m1}&u_{m2}&\dots&u_{mc}\\ \end{bmatrix}$

也就是将 W,U 矩阵每一列作为一个向量, 由X矩阵进行向量的变换, 得到 U 矩阵每一列向量

分块矩阵

上面我们还看到了一个老朋友:

$\begin{bmatrix} A\cdot \begin{bmatrix} x_{11}\\ x_{21}\\ \dots\\ x_{n1}\\ \end{bmatrix}& A\cdot \begin{bmatrix} x_{12}\\ x_{22}\\ \dots\\ x_{n2}\\ \end{bmatrix} \end{bmatrix}\\[10pt] =\begin{bmatrix} a_{11}&a_{12}&\dots&a_{1n}\\[10pt] a_{21}&a_{22}&\dots&a_{2n}\\[10pt] \dots&\dots&\dots&\dots\\[10pt] a_{m1}&a_{m2}&\dots&a_{mn}\\[10pt] \end{bmatrix} \begin{bmatrix} x_{11}&x_{12}\\[10pt] x_{12}&x_{22}\\[10pt] \dots&\dots\\[10pt] x_{n1}&x_{n2}\\[10pt] \end{bmatrix}$

这不就是左乘提取公共项的形式吗?

$\begin{bmatrix} W\cdot A& W\cdot B& W\cdot C& \end{bmatrix} =W\begin{bmatrix} A& B& C& \end{bmatrix}$

也就是我们也可以反其道而行之, 将大矩阵分块计算:

$W\begin{bmatrix} A& B& C& \end{bmatrix} =\begin{bmatrix} W\cdot A& W\cdot B& W\cdot C& \end{bmatrix}$

分块矩阵的加法

如果两个分块矩阵采用相同的分块方式，则加法就是对应子块相加：

$\begin{bmatrix} A_{11} & A_{12} \\ A_{21} & A_{22} \end{bmatrix} + \begin{bmatrix} B_{11} & B_{12} \\ B_{21} & B_{22} \end{bmatrix} = \begin{bmatrix} A_{11}+B_{11} & A_{12}+B_{12} \\ A_{21}+B_{21} & A_{22}+B_{22} \end{bmatrix}$

前提条件：对应子块的维度必须相同。

分块矩阵的乘法

分块矩阵乘法与普通矩阵乘法规则一致，但要求分块方式相容。

对于矩阵 $A_{m \times n}$ 和 $B_{n \times p}$ ，将它们按如下方式分块：

$\begin{bmatrix} A_{11} & A_{12} \\ A_{21} & A_{22} \end{bmatrix}, \quad B = \begin{bmatrix} B_{11} & B_{12} \\ B_{21} & B_{22} \end{bmatrix}$

其中：

$A_{11}$ 的列数 = $B_{11}$ 的行数
$A_{12}$ 的列数 = $B_{21}$ 的行数
等等

则乘积为：

$\begin{bmatrix} A_{11}B_{11} + A_{12}B_{21} & A_{11}B_{12} + A_{12}B_{22} \\ A_{21}B_{11} + A_{22}B_{21} & A_{21}B_{12} + A_{22}B_{22} \end{bmatrix}$

注意：子块之间的乘法是矩阵乘法，不是数乘。

分块矩阵的转置

分块矩阵的转置需要先转置子块，再转置整体分块结构：

$\begin{bmatrix} A_{11} & A_{12} & A_{13} \\ A_{21} & A_{22} & A_{23} \\ A_{31} & A_{32} & A_{33} \end{bmatrix}^T =\begin{bmatrix} A_{11}^T & A_{21}^T & A_{31}^T \\ A_{12}^T & A_{22}^T & A_{32}^T \\ A_{13}^T & A_{23}^T & A_{33}^T \end{bmatrix}$

简而言之：整体分块结构转置 + 每个子块分别转置。

分块对角矩阵的性质

分块对角矩阵形如：

$\begin{bmatrix} A_{11} & 0 & \cdots & 0 \\ 0 & A_{22} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & A_{kk} \end{bmatrix}$

性质：

行列式： $\det(A) = \det(A_{11}) \cdot \det(A_{22}) \cdots \det(A_{kk})$
逆矩阵：若各子块可逆，则
$A^{-1} = \begin{bmatrix} A_{11}^{-1} & 0 & \cdots & 0 \\ 0 & A_{22}^{-1} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & A_{kk}^{-1} \end{bmatrix}$
特征值：所有子块特征值的并集

分块上/下三角矩阵的性质

分块上三角矩阵

$\begin{bmatrix} A_{11} & A_{12} \\ 0 & A_{22} \end{bmatrix}$

性质：

行列式： $\det(U) = \det(A_{11}) \cdot \det(A_{22})$
特征值： $A_{11}$ 和 $A_{22}$ 的特征值的并集

分块下三角矩阵类似

分块矩阵的逆（Schur补公式）

对于可逆矩阵：

$\begin{bmatrix} A & B \\ C & D \end{bmatrix}$

若 $A$ 可逆，则：

$M^{-1} = \begin{bmatrix} A^{-1} + A^{-1}B S^{-1} C A^{-1} & -A^{-1} B S^{-1} \\ -S^{-1} C A^{-1} & S^{-1} \end{bmatrix}$

其中 $S = D - C A^{-1} B$ 称为 Schur补。

若 $D$ 可逆，也有对称形式：

$M^{-1} = \begin{bmatrix} T^{-1} & -T^{-1} B D^{-1} \\ -D^{-1} C T^{-1} & D^{-1} + D^{-1} C T^{-1} B D^{-1} \end{bmatrix}$

其中 $T = A - B D^{-1} C$ 。

分块矩阵的秩

对于分块矩阵：

$\operatorname{rank} \begin{bmatrix} A & B \\ C & D \end{bmatrix} \ge \operatorname{rank}(A) + \operatorname{rank}(D - C A^+ B)$

其中 $A^+$ 是广义逆。特别地，对于分块对角矩阵：

$\operatorname{rank} \begin{bmatrix} A & 0 \\ 0 & D \end{bmatrix} = \operatorname{rank}(A) + \operatorname{rank}(D)$

分块矩阵的求导

在矩阵微积分中，分块结构可用于处理复杂函数的梯度，在优化/机器学习中常用：

例如，若 $\begin{bmatrix} x_1 \\ x_2 \end{bmatrix}$ ，则：

$\frac{\partial}{\partial x} f(x) = \begin{bmatrix} \frac{\partial f}{\partial x_1} \\[10pt] \frac{\partial f}{\partial x_2} \end{bmatrix}$

分块矩阵的核心优势在于：

简化大型矩阵的计算（如用Schur补求逆）
揭示矩阵的内在结构（如分块对角表示）
便于理论推导（如线性系统、卡尔曼滤波、机器学习中的矩阵求导）

总结

本文我们一起探讨矩阵的性质意义，从级数求和，向量变换，分块矩阵等，在深度学习理论中至关重要。

亚马逊云科技技术品牌专区

更多推荐

open-code-review Codex 插件教程：对话式调用评审技能指南

本文是一份面向新手的 **open-code-review Codex 插件教程**，教你在 Codex 中通过对话式方式调用 open-code-review 的 AI 代码评审技能。open-code-review 是阿里巴巴开源的 AI 代码评审工具，采用"确定性流水线 + LLM Agent"混合架构，内置多语言评审规则（NPE、线程安全、XSS、SQL 注入等），可在 Codex 里用一

亚马逊云科技技术品牌专区

OBS Studio 完整指南：免费开源录屏与直播软件从零上手

想做一场像模像样的直播，或者把屏幕内容录成教程视频，但一想到商用软件的订阅费就有些犹豫？其实你不需要花一分钱。OBS Studio 是一款免费开源的直播与录屏软件，支持 Windows、macOS 和 Linux，采集、混音、编码、推流、录制，一条流水线全包了。## 先搞清楚 OBS Studio 是什么OBS Studio 是一个"场景化"的采集合成工具：你把摄像头、窗口、浏览器、图片、

亚马逊云科技技术品牌专区

如何用MediaCrawler爬取小红书抖音数据？7大平台爬虫从安装到实战完整指南

MediaCrawler 是一个支持小红书、抖音、快手、B站、微博、百度贴吧、知乎的开源自媒体数据采集工具。它能按关键词、按帖子、按创作者主页三种方式抓取笔记/视频内容、评论甚至二级评论，并把结果存成 JSON、CSV、Excel 或数据库。适合做市场调研、竞品监控、内容选题的运营人员，以及想要现成爬虫框架而不想从零写 JS 逆向的开发者。## 从一次"手动抄数据"说起想象这个场景：你负责