写在前面

ssim作为图像质量评价指标，在很多图像领域如图像超分辨率、图像压缩、图像去噪等都有广泛的应用。

SSIM（结构相似性）

简介

结构相似性指标（英文：structural similarity index measure，简称SSIM）是一种用以衡量两张数位影像相似程度的指标。当两张影像其中一张为无失真影像，另一张为失真后的影像，二者的结构相似性可以看成是失真影像的影像品质衡量指标。相较于传统所使用的影像品质衡量指标，像是峰值信噪比（英语：PSNR），结构相似性在影像品质的衡量上更能符合人眼对影像品质的判断。（原始论文：下载）

定义

给定两个信号 $\mathbf{x}$ 和 $\mathbf{y}$，两者的结构相似性定义为：
$$\text{SSIM}(\mathbf{x},\mathbf{y})=[l(\mathbf{x},\mathbf{y}){]}^{\alpha }[c(\mathbf{x},\mathbf{y}){]}^{\beta }[s(\mathbf{x},\mathbf{y}){]}^{\gamma }，$$
$$l(\mathbf{x},\mathbf{y})=\frac{2{\mu }_x{\mu }_y+C_1}{{\mu }_x^2+{\mu }_y^2+C_1}，c(\mathbf{x},\mathbf{y})=\frac{2{\sigma }_x{\sigma }_y+C_2}{{\sigma }_x^2+{\sigma }_y^2+C_2}，s(\mathbf{x},\mathbf{y})=\frac{{\sigma }_{xy}+C_3}{{\sigma }_x{\sigma }_y+C_3}。$$
其中，$l(\mathbf{x},\mathbf{y})$比较 $\mathbf{x}$ 和 $\mathbf{y}$ 的亮度，$c(\mathbf{x},\mathbf{y})$比较$\mathbf{x}$ 和$\mathbf{y}$ 的对比度，$s(\mathbf{x},\mathbf{y})$比较$\mathbf{x}$ 和$\mathbf{y}$ 的结构（structure），$\alpha >0$，$\beta >0$，$\gamma >0$，为调整$l(\mathbf{x},\mathbf{y})$、$c(\mathbf{x},\mathbf{y})$、$s(\mathbf{x},\mathbf{y})$相对重要性的参数，${\mu }_x$及${\mu }_y$、${\sigma }_x$及${\sigma }_y$分别为$\mathbf{x}$ 和$\mathbf{y}$ 的平均值和标准差，${\sigma }_{xy}$为$\mathbf{x}$ 和$\mathbf{y}$ 的协方差，$C_1$、$C_2$、$C_3$皆为常数，用以维持$l(\mathbf{x},\mathbf{y})、c(\mathbf{x},\mathbf{y})、s(\mathbf{x},\mathbf{y})$的稳定。

结构相似性指标的值越大，代表两个信号的相似性越高。

试想，若使用全等的两张图片去做SSIM运算，也就是说${\mu }_x={\mu }_y$且${\sigma }_x={\sigma }_y$，如此一来
$$\text{SSIM}(\mathbf{x},\mathbf{x})=\frac{2{\mu }_x^2+C_1}{{\mu }_x^2+{\mu }_x^2+C_1}\times \frac{2{\sigma }_x^2+C_2}{{\sigma }_x^2+{\sigma }_x^2+C_2}\times \frac{{\sigma }_{xx}+C_3}{{\sigma }_x{\sigma }_x+C_3}=1$$

性质

结构相似性指标具有下列性质：

• 结构相似性指标是对称的，亦即：$\text{SSIM}(\mathbf{x},\mathbf{y})=\text{SSIM}(\mathbf{y},\mathbf{x})$。
• 有上下界：结构相似性指标的范围为−1到1。当衡量的两个信号完全相同时，结构相似性指标的值为1。

使用

实际使用时，简化起见，一般会将参数设为$\alpha =\beta =\gamma =1$及$C_3=C_2/2$，得到：
$$\text{SSIM}(\mathbf{x},\mathbf{y})=\frac{(2{\mu }_x{\mu }_y+C_1)(2{\sigma }_{xy}+C_2)}{({\mu }_x^2+{\mu }_y^2+C_1)({\sigma }_x^2+{\sigma }_y^2+C_2)}。$$
在计算两张影像的结构相似性指标时，会开一个局部性的视窗，一般为$N\times N$的小区块，计算出视窗内信号的结构相似性指标，每次以像素为单位移动视窗，直到整张影像每个位置的局部结构相似性指标都计算完毕。将全部的局部结构相似性指标平均起来即为两张影像的结构相似性指标。

实现

太复杂了，不想写，😔。我们可以调用第三方库skimage实现，里面有封装好的计算ssim的代码，具体调用方式如下：

from skimage.metrics import structural_similarity as ssim
from PIL import Image
import numpy as np


img1 = np.array(Image.open('original.jpg'))
img2 = np.array(Image.open('compress.jpg'))


if __name__ == "__main__":
	# If the input is a multichannel (color) image, set multichannel=True.
    print(ssim(img1, img2, multichannel=True))

备注：skimage的大名叫scikit-image，安装请用pip install scikit-image。

对比

import numpy as np
import matplotlib.pyplot as plt

from skimage import data, img_as_float
from skimage.metrics import structural_similarity as ssim
from skimage.metrics import mean_squared_error


img = img_as_float(data.camera())
rows, cols = img.shape

noise = np.ones_like(img) * 0.2 * (img.max() - img.min())
noise[np.random.random(size=noise.shape) > 0.5] *= -1

img_noise = img + noise
img_const = img + abs(noise)

fig, axes = plt.subplots(nrows=1, ncols=3, figsize=(10, 4),
                         sharex=True, sharey=True)
ax = axes.ravel()

mse_none = mean_squared_error(img, img)
ssim_none = ssim(img, img, data_range=img.max() - img.min())

mse_noise = mean_squared_error(img, img_noise)
ssim_noise = ssim(img, img_noise,
                  data_range=img_noise.max() - img_noise.min())

mse_const = mean_squared_error(img, img_const)
ssim_const = ssim(img, img_const,
                  data_range=img_const.max() - img_const.min())

label = 'MSE: {:.2f}, SSIM: {:.2f}'

ax[0].imshow(img, cmap=plt.cm.gray, vmin=0, vmax=1)
ax[0].set_xlabel(label.format(mse_none, ssim_none))
ax[0].set_title('Original image')

ax[1].imshow(img_noise, cmap=plt.cm.gray, vmin=0, vmax=1)
ax[1].set_xlabel(label.format(mse_noise, ssim_noise))
ax[1].set_title('Image with noise')

ax[2].imshow(img_const, cmap=plt.cm.gray, vmin=0, vmax=1)
ax[2].set_xlabel(label.format(mse_const, ssim_const))
ax[2].set_title('Image plus constant')

plt.tight_layout()
plt.show()

拓展阅读

ssim的matlab实现：ssim_index.m

相关推荐

【python】psnr原理简介及代码实现

引用参考

https://zh.wikipedia.org/wiki/結構相似性
https://ece.uwaterloo.ca/~z70wang/research/ssim/
https://scikit-image.org/docs/dev/auto_examples/transform/plot_ssim.html