CVPR2024｜vivo提出使用对抗微调获得泛化性更强的SAM，分割直接登顶 SOTA！

今日应用

轻音乐俱乐部，多得听不完

轻音乐俱乐部，汇聚海量轻音乐，旋律悠扬，令人陶醉。无论休闲放松还是工作学习，都能找到适合的曲目，陪伴你度过美好时光，尽享音乐盛宴。

今日话题

CVPR2024｜vivo提出使用对抗微调获得泛化性更强的SAM，分割直接登顶 SOTA！

 

重点标签 ASAM技术、SAM模型、图像分割、对抗样本、计算机视觉

文章摘要

本文介绍了一种名为ASAM（Adversarial Sample-based Adversarial Model）的新方法，旨在通过对抗微调来增强现有的Segment Anything Model（SAM）在图像分割任务上的性能。ASAM的创新之处在于，它不依赖额外的数据、不更改基础架构，同时不牺牲零样本能力，从而在保持SAM泛化性的基础上进一步提升其性能。

ASAM的核心思想是受到自然语言处理领域中对抗训练成功案例的启发，将这一策略应用于计算机视觉领域。研究者使用一个鲁棒的扩散模型对SAM-1B数据集的一个子集（1%）进行增强处理，生成了既自然又逼真的对抗样本。这些样本在视觉上保持了高度逼真性，并与原始的Mask标注精确对齐，确保了分割任务的完整性。

在实验中，ASAM在多个图像分割任务上展现出显著的性能提升，证明了其有效性。与原始SAM相比，ASAM在14个不同的测试数据集上平均提高了1.3的mIoU，显示出其在各种情境下提升模型能力的潜力。此外，ASAM还显示出良好的可迁移性，能够在不同的大型视觉基础模型上实现性能提升。

ASAM的成功为计算机视觉领域基础模型的改进提供了新的思路。通过引入跨学科的见解和方法，ASAM在不牺牲模型泛化能力的前提下，有效提升了SAM在特定任务上的表现。这一成果不仅推动了计算机视觉领域基础模型的发展，也为未来在更广泛的现实应用中提升模型性能提供了新的可能性。

摘要：
ASAM技术通过对抗微调提升了SAM模型在图像分割任务上的性能，同时保留了模型的泛化能力和零样本学习能力。该方法受到自然语言处理领域对抗训练成功案例的启发，利用生成模型生成自然且逼真的对抗样本，并通过ControlNet技术确保样本与原始Mask标注的精确对齐。实验结果表明，ASAM在多个数据集上显著提高了SAM的性能，证明了其在计算机视觉领域的有效性和可迁移性。

关键词： ASAM技术，SAM模型，图像分割，对抗样本，计算机视觉

文章来源

原文地址: 点我阅读全文
原文作者: 极市平台