本文是我的读书笔记，主要是摘记泛函分析教材 ¹中的概念和结论，以应对机器学习教材 ²中出现的 Hilbert 空间 等数学术语。

度量空间

度量空间：对偶 $(X,d)$ ，其中 $X$ 是一个集合，$d$ 是 $X$ 上的距离函数，即 $d$ 定义在 $X\times X$ 且对所有 $x,y,z\in X$ 满足以下四条公理

• $d$ 是实值、有限和非负的
• $x=y⟺d(x,y)=0$
• $d(x,y)=d(y,x)$
• $d(x,y)\le d(x,z)+d(z,y)$ （三角不等式）

欧几里得空间 ${\mathbf{R}}^n$ 可成为度量空间，使用欧几里得度量
$$x=({\xi }_1,\dots ,{\xi }_n),y=({\eta }_1,\dots ,{\eta }_n)$$
$$d(x,y)=\sqrt{({\xi }_1-{\eta }_1{)}^2+\cdots +({\xi }_n-{\eta }_n{)}^2}$$

酉空间 ${\mathbf{C}}^n$ 可成为度量空间，定义
$$d(x,y)=\sqrt{|{\xi }_1-{\eta }_1{|}^2+\cdots +|{\xi }_n-{\eta }_n{|}^2}$$

取所有的有界复数序列的集合作为基集 $X$，定义度量
$$x=({\xi }_1,{\xi }_2,\dots ),y=({\eta }_1,{\eta }_2,\dots )$$
$$d(x,y)=\underset{j}{\sup }|{\xi }_j-{\eta }_j|$$
其中 $\sup$ 表示上确界（最小上界）。这样得到的度量空间称为序列空间 $l^{\infty }$

取闭区间 $J=[a,b]$ 上所有的连续实值函数的集合作为基集 $X$，定义度量
$$d(x,y)=\underset{t\in J}{\max }|x(t)-y(t)|$$
其中 $\max$ 表示最大值。这样得到的度量空间称为 $C[a,b]$，$C$ 表示 Continuous

取所有满足级数
$$\sum _{j=1}^{\infty }|{\xi }_j{|}^p$$
收敛的数列 $x=({\xi }_1,{\xi }_2,\dots )$，定义度量
$$d(x,y)={\left(\sum _{j=1}^{\infty }|{\xi }_j-{\eta }_j{|}^p\right)}^{\frac{1}{p}}$$
这样得到的度量空间称为序列空间 $l^p$，特别地，$l^2$ 又称 Hilbert 序列空间。

Cauchy 序列、完备性：度量空间 $X=(X,d)$ 中的序列 $(x_n)$，如果对于 $\forall ϵ>0$，$\exists N=N(ϵ)$，使得
$$\forall m,n>Nd(x_m,x_n)<ϵ$$
则称 $(x_n)$ 是 Cauchy 序列。如果空间 $X$ 中每个 Cauchy 序列都有属于 $X$ 的极限，则称 $X$ 是完备度量空间。

可以证明，${\mathbf{R}}^n$、${\mathbf{C}}^n$、$C[a,b]$、$l^{\infty }$、$l^p$ 都是完备的。

赋范空间和 Banach 空间

向量空间是定义了向量加法和向量数乘两种运算的空间。关于其完整定义和性质，可参考线性代数教材³。

范数：定义在向量空间 $X$ 上的实值函数，它在 $x\in X$ 的值记为 $||x||$，并具有如下性质

• $||x||\ge 0$
• $||x||=0⟺x=0$
• $||\alpha x||=|\alpha |||x||$
• $||x+y||\le ||x||+||y||$ （三角不等式）

由范数导出的度量：
$$d(x,y)=||x-y||,\forall x,y\in X$$

赋范空间：在其上定义了范数的向量空间
Banach 空间：完备的赋范空间（以范数导出的度量来考察完备性）

接下来对之前定义的度量空间补充范数的定义，使得之前的度量定义可以由范数导出。

欧几里得空间 ${\mathbf{R}}^n$ 和酉空间 ${\mathbf{C}}^n$
$$||x||={\left(\sum _{j=1}^n|{\xi }_j{|}^2\right)}^{\frac{1}{2}}$$

空间 $l^p$
$$||x||={\left(\sum _{j=1}^{\infty }|{\xi }_j{|}^p\right)}^{\frac{1}{p}}$$

空间 $l^{\infty }$
$$||x||=\underset{j}{\sup }|{\xi }_j|$$

空间 $C[a,b]$
$$||x||=\underset{t\in J}{\max }|x(t)|$$

内积空间和 Hilbert 空间

内积：$X\times X$ 到 $X$ 的标量域 $K$ 的一个映射。$X$ 中向量 $x$ 和 $y$ 的内积记作 $⟨x,y⟩$，满足如下性质

• $⟨x+y,z⟩=⟨x,z⟩+⟨y,z⟩$
• $⟨\alpha x,y⟩=\alpha ⟨x,y⟩$
• $⟨x,y⟩=\overline{⟨y,x⟩}$
• $⟨x,x⟩\ge 0$
• $⟨x,y⟩=0⟺x=0$

其中 $\overline{⟨y,x⟩}$ 表示 $⟨y,x⟩$ 的复共轭。对定义了内积的实向量空间，有交换律 $⟨x,y⟩=⟨y,x⟩$

可以用内积定义范数和度量
$$||x||=\sqrt{⟨x,x⟩}$$
$$d(x,y)=||x-y||=\sqrt{⟨x-y,x-y⟩}$$

内积空间：在其上定义了内积的向量空间
Hilbert 空间：完备的内积空间（以内积定义的度量来考察完备性）

可以证明，内积空间上的范数满足平行四边形等式
$$||x+y|{|}^2+||x-y|{|}^2=2(||x|{|}^2+||y|{|}^2)$$

不是所有的赋范空间都是内积空间。

接下来对之前定义的度量空间补充内积的定义，使得之前定义的度量、范数建立在内积之上。

欧几里得空间 ${\mathbf{R}}^n$
$$⟨x,y⟩=\sum _{j=1}^n{\xi }_j{\eta }_j$$
${\mathbf{R}}^n$ 是 Hilbert 空间。

酉空间 ${\mathbf{C}}^n$
$$⟨x,y⟩=\sum _{j=1}^n{\xi }_j\overline{{\eta }_j}$$
${\mathbf{C}}^n$ 是 Hilbert 空间。

空间 $l^2$
$$⟨x,y⟩=\sum _{j=1}^{\infty }{\xi }_j\overline{{\eta }_j}$$
$l^2$ 是 Hilbert 空间的原型。

可以证明，空间 $l^p(p\ne 2)$ 不满足平行四边形等式，所以不是内积空间，当然也不是 Hilbert 空间。

可以证明，空间 $C[a,b]$ 不满足平行四边形等式，所以不是内积空间，当然也不是 Hilbert 空间。

---

1. （加）欧文·克雷斯齐格《泛函分析导论及应用》（人民邮电出版社，2022） ↩︎

2. 李航《统计学习方法》（第2版)（清华大学出版社，2019） ↩︎

3. Linear Algebra Done Right (Fourth Edition), Sheldon Axler ↩︎