乘法/积运算和符号（点乘/内积/数量积，叉乘/向量积，矩阵乘法，Hadamard, Kronecker积，卷积）一网打尽

之前一直混淆与各种乘法中，不得其解，所以花了点功夫整理一下。线性代数中的点乘（内积/数量积）和叉乘（向量积）https://www.zhihu.com/question/21080171矩阵乘法方式组的概念没有符号哈达马积（Hadamard product）两个矩阵对应元素的乘积 * 卷积操作一般就是这个符号克罗内克积（Kronecker Product）克罗内克积也被称为直积或张量积x外面

文章共6,081字 · 阅读需要大约21分钟

一键AI生成摘要，助你高效阅读

问答

老光头_ME2CS

31212人浏览 · 2020-10-24 17:13:44

老光头_ME2CS · 2020-10-24 17:13:44 发布

之前一直混淆于各种乘法和积运算中，不得其解，所以花了点功夫整理一下。

名称	符号	Latex	运算	应用	意义
点乘/内积/数量积	$\cdot$ 或 $\bullet$	\cdot或\bullet	$\vec{a} \bullet \vec{b}=x_{1} x_{2}+y_{1} y_{2}$	三角形余弦角度	一个向量在另一个向量方向上投影的长度
叉乘/向量积	$\times$	\times	$\times b=(a_{2} b_{3}-a_{3} b_{2}, -a_{1} b_{3}+ a_{3} b_{1}, a_{1} b_{2}-a_{2} b_{1})$	向量方向是垂直于向量A,B组成的平面	叉乘结果是一个向量，向量模长是向量A，B组成平行四边形的面积；
矩阵乘法	NAN	NAN	$B)_{i j}=\sum_{k=1}^{p} a_{i k} b_{k j}=a_{i 1} b_{1 j}+a_{i 2} b_{2 j}+\cdots+a_{i p} b_{p j}$	方程组	各类需要求解方程组的问题
克罗内克积(Kronecker Product)/直积/张量积	$\otimes$	\otimes	$\otimes B=\left[\begin{array}{ccc}a_{11} B & \cdots & a_{1 n} B \\\vdots & \ddots & \vdots \\a_{m 1} B & \cdots & a_{m n} B\end{array}\right]$	任意两个矩阵相乘	矩阵分块相乘
哈达马积（Hadamard product）	$\circ$ 或 $\odot$	\circ 或 \odot	$\circ B)_{i j}=(A \odot B)_{i j}=(A)_{i j}(B)_{i j}$	对应位置相乘	Kronecker Product两矩阵维度相同时的简化形式
卷积	*	*	$\triangleq \int_{-\infty}^{\infty} f(\tau) g(t-\tau) d \tau$	深度学习中张量的卷积操作卷积核在特征层移动并对应位相乘	表征函数 f 与经过翻转和平移的 g 的乘积函数所围成的曲边梯形的面积

补充几点：

点乘，叉乘是线性代数中强调的概念，所以主要针对一维矢量或者二维矩阵的运算，能够在二维或者三位空间进行可视化；而矩阵乘法、克罗内克积、哈达马积则是矩阵论中的概念，强调的是更为一般性的n维向量的运算规则，矩阵内积操作向量在内积空间中的矩阵乘法。
矩阵乘法是使用最多的运算，比如在matlab和python的numpy中*。点乘可以视作矩阵乘法对两个一维矢量的运算规则。
卷积的运算规则与哈达马积相同，而哈达马积又是克罗内克积一种特殊情况，所以在CS的一些论文中表达卷积操作， $\otimes$ 、 $\circ$ 、 $\odot$ 、*似乎都没问题，但是最多还是星乘。