一篇用transformer实现的可以处理多模态图像融合和数码摄影图像融合的统一框架

解决ImportError: Failed to load PyTorch C extensions:报错

作者提出了多模态特征金字塔变换(Multi-modal Feature Pyramid Transformer, MFPT)，通过学习语义和模态互补信息来增强每个模态特征。

总结了各种通用图像融合评价指标，提供了对应公式以及MATLAB代码

解决ImportError: Failed to load PyTorch C extensions:报错

本文提出了一种新的基于显著目标检测的红外与可见光图像融合网络，命名为STDFusionNet。作者明确地将红外图像的显著区域和可见光图像的背景区域定义为红外图像融合所需的信息。基于这一定义，作者在损失函数中引入显著目标掩码，以精确指导网络的优化。因此，作者的模型可以隐式地完成显著目标的检测和信息融合。