CVPR 2024｜基于MoE的通用图像融合模型，添加2.8%参数完成多项任务

今日应用

陌言AI

陌言AI - 一站式智能创作平台，免费提供AI写作和绘画服务，释放创意，畅享智能创作之旅！

今日话题

CVPR 2024｜基于MoE的通用图像融合模型，添加2.8%参数完成多项任务

 

重点标签 tag1、图像融合、任务定制、适配器、互信息正则化

文章摘要

摘要：

本文介绍了一种统一的通用图像融合模型，该模型提出了一种新的任务定制混合适配器（TC-MoA）用于自适应多源图像融合。该模型利用互信息正则化方法，能够更准确地识别不同源图像的主导强度。此外，本文还首次提出了一种基于MoE（混合专家）的灵活适配器，通过只添加2.8%的可学习参数，模型能够处理多种融合任务。实验结果表明，该方法在通用图像融合方面具有优越性，包括多模态、多曝光和多焦点融合任务，并且对未知的融合任务显示出了创造性的可控性和泛化性。

研究背景与动机：

图像融合技术旨在整合同一场景中不同传感器捕获的多源图像的互补信息，以提取图片重要信息和提高视觉质量。现有的图像融合方法大多只关注单一图像融合场景，且通常为单一任务采用特定策略，导致无法直接应用在其他任务上。为了解决这一问题，作者提出了一种统一的通用图像融合模型，该模型能够自适应地动态兼容不同的融合场景。

主要贡献：

1. 提出了一个统一的通用图像融合模型，提供了一种新的任务定制混合适配器（TC-MoA）用于自适应多源图像融合。
2. 为适配器提出了一种互信息正则化方法，使得模型能够更准确地识别不同源图像的主导强度。
3. 首次提出了一种基于MoE的灵活适配器，通过只添加2.8%的可学习参数，模型能够处理多种融合任务。

核心方法：

TC-MoA模型的核心方法包括提示生成和提示驱动的融合两个主要阶段。提示生成阶段，网络整合来自不同源的互补信息，获得融合图像。提示驱动的融合阶段，任务定制的提示受到互信息正则化（MIR）的约束，保证了对不同源的互补性。通过多源特征和提示的点乘，保留了互补信息，同时去除冗余信息。

实验效果：

实验结果表明，TC-MoA模型在多模态、多曝光和多焦点融合任务上的定性和定量性能均超越了以往的通用融合方法。与特定任务的方法相比，TC-MoA模型在所有任务上也达到了先进水平，甚至在部分任务上达到了领先水平。此外，TC-MoA模型还展示了对已知任务的可控性和对未知任务的泛化性。通过控制融合提示的超参数，可以分别控制模型对源图像互补信息的特征选择强度和融合图像与某个源图像的相似度，实现生成定制的融合图像。

文章来源

原文地址: 点我阅读全文
原文作者: 极市平台