CVPR2024|vivo提出使用对抗微调获得泛化性更强的SAM,分割直接登顶 SOTA!

AI最新资讯4个月前发布 tree
37 0 0

今日应用


今日话题


CVPR2024|vivo提出使用对抗微调获得泛化性更强的SAM,分割直接登顶 SOTA!
CVPR2024|vivo提出使用对抗微调获得泛化性更强的SAM,分割直接登顶 SOTA!
 

重点标签 ASAM技术SAM模型图像分割对抗样本计算机视觉

文章摘要


本文介绍了一种名为ASAM(Adversarial Sample-based Adversarial Model)的新方法,旨在通过对抗微调来增强现有的Segment Anything Model(SAM)在图像分割任务上的性能。ASAM的创新之处在于,它不依赖额外的数据、不更改基础架构,同时不牺牲零样本能力,从而在保持SAM泛化性的基础上进一步提升其性能。

ASAM的核心思想是受到自然语言处理领域中对抗训练成功案例的启发,将这一策略应用于计算机视觉领域。研究者使用一个鲁棒的扩散模型对SAM-1B数据集的一个子集(1%)进行增强处理,生成了既自然又逼真的对抗样本。这些样本在视觉上保持了高度逼真性,并与原始的Mask标注精确对齐,确保了分割任务的完整性。

在实验中,ASAM在多个图像分割任务上展现出显著的性能提升,证明了其有效性。与原始SAM相比,ASAM在14个不同的测试数据集上平均提高了1.3的mIoU,显示出其在各种情境下提升模型能力的潜力。此外,ASAM还显示出良好的可迁移性,能够在不同的大型视觉基础模型上实现性能提升。

ASAM的成功为计算机视觉领域基础模型的改进提供了新的思路。通过引入跨学科的见解和方法,ASAM在不牺牲模型泛化能力的前提下,有效提升了SAM在特定任务上的表现。这一成果不仅推动了计算机视觉领域基础模型的发展,也为未来在更广泛的现实应用中提升模型性能提供了新的可能性。

摘要:
ASAM技术通过对抗微调提升了SAM模型在图像分割任务上的性能,同时保留了模型的泛化能力和零样本学习能力。该方法受到自然语言处理领域对抗训练成功案例的启发,利用生成模型生成自然且逼真的对抗样本,并通过ControlNet技术确保样本与原始Mask标注的精确对齐。实验结果表明,ASAM在多个数据集上显著提高了SAM的性能,证明了其在计算机视觉领域的有效性和可迁移性。

关键词: ASAM技术SAM模型,图像分割,对抗样本,计算机视觉

文章来源


原文地址: 点我阅读全文
原文作者: 极市平台

© 版权声明

相关文章

暂无评论

暂无评论...