今日应用
今日话题
CVPR 2024 | CAMixerSR：2K/8K/轻量级/全景图像超分又快又强！（字节&南开）
文章摘要
本文介绍了一种新型的内容感知混合器（CAMixer），旨在通过根据内容复杂度调整不同复杂度的神经操作符（自注意力和卷积）来整合模型加速和token混合设计策略。CAMixer的设计允许简单的上下文通过卷积捕获，而复杂的上下文则通过可变形的自注意力进行额外处理。此外，文章还提出了一个有效的预测器，利用丰富的输入条件生成多种有用的引导信息。基于CAMixer构建的CAMixerSR在三个超分辨率（SR）任务中取得了显著的性能与计算量平衡。
介绍
近年来，图像超分辨率（SR）的质量得到了显著提升，但现有方法在处理大尺寸图像（2K-8K）时面临密集的计算负担。为了解决这一问题，本文提出了内容感知混合器（CAMixer），它通过内容感知路线动态地将图像区域分配给不同复杂度的模型。CAMixer使用可学习的预测器生成多个引导，包括用于窗口warping的偏移量、用于分类窗口的mask，以及用于赋予卷积动态属性的卷积注意力。通过简单地堆叠CAMixer，获得了CAMixerSR，它在大尺寸图像SR、轻量级SR和全景图像SR方面实现了卓越的性能。
方法
CAMixer由三个主要组件组成：预测模块、注意力分支和卷积分支。预测器基于局部条件、全局条件和位置编码生成中间特征图，并产生偏移图、混合器mask和简单的空间/通道注意力。注意力分支使用偏移量来调制原始输入，并通过双线性插值在所选窗口中包含更多有用的内容。卷积分支则利用深度可分离卷积和预先生成的通道注意力来捕获局部相关性。最后，CAMixer的输出通过逐点卷积进行投影。
实验
CAMixerSR在轻量级SR、大图像SR和全景图像SR任务上进行了测试。实验结果显示，CAMixerSR在所有任务上都取得了优异的性能，特别是在大尺寸图像超分辨率任务中，与其他方法相比，CAMixerSR提供了类似或更好的恢复质量，但计算量更少。此外，CAMixerSR还可以与加速框架结合使用，进一步提高效率。
结论
本文提出的CAMixer通过内容感知的方式，有效地整合了模型加速和token混合设计策略，实现了在超分辨率任务中的性能与计算量之间的平衡。CAMixerSR在多个具有挑战性的超分辨率任务上展示了其优越性，证明了其在实际应用中的潜力。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台
相关文章
