Mamba入局遥感图像分割！Samba: 首个基于SSM的遥感高分图像语义分割框架

今日应用

PlaiDay

与PlaiDay一起探索无限创意的世界!潜入我们独特的社交平台，人工智能驱动的想象力满足个人表达。

今日话题

Mamba入局遥感图像分割！Samba: 首个基于SSM的遥感高分图像语义分割框架

 

重点标签 遥感、语义分割、Samba、Mamba、LoveDA

文章摘要

摘要：

本文介绍了一种名为Samba的高分辨率遥感图像语义分割框架。Samba基于状态空间模型（SSM），也称为Mamba，有效捕获全局语义信息，并在遥感图像处理中展示了其潜力。该框架超越了传统的CNN-based和ViT-based方法，为遥感语义分割任务提供了新的性能基准。

背景：

高分辨率遥感图像对传统语义分割方法构成挑战。CNN方法受限于感受野大小，而ViT在处理长序列时面临计算复杂度过高的问题。Samba框架的提出，旨在解决这些问题，首次将SSM应用于遥感图像语义分割任务。

动机：

遥感图像语义分割是遥感应用中的关键任务，通常采用CNN作为基础。然而，CNN在处理高分辨率图像时存在局限。ViT虽然具有全局注意力机制，但在遥感图像分割中仍面临挑战。Mamba作为一种新方法，展示了在处理长序列问题时的线性复杂度优势。

方法：

Samba采用编码器-解码器架构，其中Samba块作为编码器，UperNet作为解码器。Samba块通过Mamba和MLP的结合，有效提取多级语义信息。Mamba的核心状态空间模型通过线性常微分方程表示，避免了计算中的二次复杂性。

实验：

在LoveDA数据集上的评估显示，Samba在未加载预训练参数的情况下，超越了当前最佳的CNN和ViT方法。Samba在mIoU指标上取得了最佳性能，证明了其在高分辨率遥感图像语义分割中的有效性。

总结：

Samba框架的提出，标志着Mamba在遥感图像语义分割领域的首次成功应用。通过在LoveDA数据集上的评估，Samba不仅超越了现有的CNN-based和ViT-based方法，还为基于Mamba的遥感图像分割任务设立了新的性能基准。

文章来源

原文地址: 点我阅读全文
原文作者: 极市平台