A review: Deep learning for medical image segmentation using
multi-modality fusion

1.背景

目前人们提出主要的深度学习神经网络的模型主要包括AlexNet、ZFNet、VGG、GoogleNet、Residual Net、DenseNet、FCN和U-Net。
医疗图像（二维）主要分为CT和MRI，其中CT图像可以诊断肌肉和骨骼疾病，如骨肿瘤和骨折，而MR图像可以提供良好的软组织对比，无需辐射。MRI模式可以提供补充信息，因为它依赖于可变的采集参数，如T1加权(T1)、对比度增强的T1加权(T1c)、T2加权(T2)和流体衰减反演恢复(Flair)图像。T2和Flair适用于检测有瘤周水肿的肿瘤，T1和T1c适用于检测无瘤周水肿的肿瘤核心。

2.基于深度学习

3.多模态医学图像分割

在多模态语义分割的任务中，多模态融合是任务的关键。在数据准备阶段，首先选择数据维度，通过预处理减少图像之间的差异，还可以采用数据增强策略增加训练数据，避免过拟合问题。在网络架构和融合策略阶段，提出了基本网络和详细的多模态图像融合策略来训练分割网络。在数据后处理阶段，引入形态学技术和条件随机场等后压技术对最终分割结果进行细化。在多模态医学图像分割任务中，多模态融合是该任务的关键问题。根据进行融合的网络架构级别，可以将融合策略分为输入级融合、层级融合和决策级融合三大类。
预处理在后续的分割任务中起着重要的作用，特别是对于多模态医学图像的分割，因为图像中存在不同的强度、对比度和噪声。因此，为了使图像看起来更加相似，使网络训练平滑和可量化，在输入到分割网络之前，采用了一些预处理技术。典型的预处理技术包括图像配准、偏置场校正和强度归一化。
大多数时候，由于几个原因，大量的训练集是难以获取的。标记数据集需要该领域的专家，这既昂贵又耗时。当用有限的训练数据训练大型神经网络时，需要考虑过拟合问题。数据增强是一种减少过度拟合和增加训练数据量的方法。它通过对训练数据集中的图像进行变换(旋转、平移、缩放、翻转、扭曲和添加一些噪声(如高斯噪声)来创建新图像。原始图像和创建的图像都被输入神经网络。例如，Isensee等人提出了通过在训练过程中利用随机旋转、随机缩放、随机弹性变形、伽马校正增强和动态镜像等多种数据增强技术来解决过拟合问题。

4.多模态分割网络

根据融合时间的不同，多模态分割网络主要分为输入级融合网络、层级融合网络和决策级融合网络。
4.1
输入级融合网络就是再将图像再输入网络前就进行融合（拼接）。具体操作如下：

例外还有多通道融合：例如，Wang等人[48]提出了一种多模态分割网络，利用BraTS数据集将脑肿瘤分割成包括整个肿瘤、肿瘤核心和增强肿瘤核心三个子区域。它使用多任务和多视图技术。为了获得统一的特征集，它直接将MRI的T1、T1c、T2和Flair四种模态作为输入空间中的多通道输入。其中引用57和Gan相关的网络值得看看。
4.2层级融合策略
在层级融合策略中，使用单个或两个模态图像作为单个输入来训练单个分割网络，然后将这些学习到的单个特征表示在网络的各层中进行融合，最后将融合结果馈送到决策层，得到最终的分割结果。层级融合网络可以有效整合和充分利用多模态图像[44,46,63,64]。下图描述了层级融合分割工作的通用网络架构。

4.3
在决策级融合分割网络中，与层级融合一样，每个模态图像作为单个分割网络的单个输入。单一网络可以更好地利用相应模态的独特信息。然后将各个网络的输出进行整合以得到最终的分割结果。针对多模态图像在原始图像空间中由于图像采集技术的不同导致直接互补信息较少的问题，设计决策级融合分割网络独立学习不同模态的互补信息。

例如，为了有效地利用T1、T2和分数各向异性(FA)模式的多模态，Nie等人提出了一种新的多fcn网络架构，用于婴儿脑组织分割(白质(WM)、灰质(GM)和脑脊液(CSF))。
他们不是简单地将来自输入空间的三个模态数据组合在一起，而是为每个模态训练一个网络，然后融合来自每个网络高层的多个模态特征。结果表明，所提出的模型在准确率方面明显优于以往的方法。对于决策层的融合，已经提出了许多融合策略[64]。其中大多数是基于平均和多数投票。在决策级融合分割网络中，可以训练多个分割网络，充分利用多模态特征。

5.总结

在多模态医疗图像处理中，融合策略七折至关重要的作用。传统的图像融合策略学习源图像和目标图像之间的直接映射，融合策略包括两个基本阶段:活动水平测量和融合规则[79]。通过设计局部滤波器提取高频细节来实现活动水平测量，然后利用设计的规则对不同源图像计算的清晰度信息进行比较，得到清晰度图像。为了获得更好的性能，这些问题变得越来越复杂，因此很难人工提出一个理想的融合策略，充分关注重要的问题。
输入级融合策略只是将输入空间中的模态连接起来，但它并没有利用不同模态之间的关系。对于层级融合，由于层间连接紧密，融合策略通常以DenseNet作为基本网络。不同层之间的连接可以捕获模态之间的复杂关系，这可以帮助分割网络学习到更多有价值的信息，获得比直接在输入空间中整合不同模态更好的性能。对于决策级融合策略，由于每一种模式都是训练单个网络来学习独立的特征表示，这需要大量的内存和计算时间，因此相比输入级融合策略可以获得更好的性能。
与前两种融合策略相比，层融合策略似乎更好，因为层之间的紧密连接可以利用更复杂和互补的信息来增强网络训练，而决策级融合只学习单一模态的独立特征表示。由于三种融合策略的结果不是从相同的数据中获得的，因此它们在性能方面的比较是困难的。从方法论上讲，每种策略都有其优点和缺点。

6.最后列出我想要进行下一步了解的论文

1.输入级融合：
[55] Myronenko A. 3d mri brain tumor segmentation using autoencoder regularization.
In: International MICCAI brainlesion workshop. Springer; 2018. p. 311–20.
[55] Myronenko A. 3d mri brain tumor segmentation using autoencoder regularization.
In: International MICCAI brainlesion workshop. Springer; 2018. p. 311–20.
GAN
2. 层级融合分割网络
DESENET了解一下
3.决策级融合：
[47] Nie D, Wang L, Gao Y, Sken D. Fully convolutional networks for multimodality
isointense infant brain image segmentation. In: 2016 IEEE 13th international
symposium on biomedical imaging (ISBI). IEEE; 2016. p. 1342–5.