CVPR24|MASA开源:刷新监督学习SOTA,无监督多目标跟踪时代来临!

AI最新资讯5个月前发布 tree
61 0 0

今日应用


今日话题


CVPR24|MASA开源:刷新监督学习SOTA,无监督多目标跟踪时代来临!
CVPR24|MASA开源:刷新监督学习SOTA,无监督多目标跟踪时代来临!
 

重点标签 多目标跟踪MASA无监督学习实例分割自动驾驶

文章摘要


摘要:
本文介绍了一种名为MASA(Matching Anything by Segmenting Anything)的多目标跟踪方法,该方法通过无监督学习策略,突破了现有技术的限制,提高了模型的泛化能力,降低了应用成本。MASA利用SAM(Segmenting Anything Model)自动生成实例掩码,并通过强数据增强和实例相似度学习,训练MASA Adapter以提升目标跟踪能力。实验表明,MASA在多个基准测试中的表现优于或媲美当前最先进的监督学习方法。

详解:
1. 多目标跟踪(MOT)的重要性:MOT在自动驾驶、机器人视觉等领域扮演着关键角色,目标是在视频序列中识别并追踪感兴趣的对象,确保它们在不同帧之间的连续性。

2. 现有技术的局限性:现有MOT数据集集中在特定领域对象上,限制了跟踪模型的泛化能力。开发一个能够泛化到任何目标的通用关联模型是一个挑战。

3. MASA方法的创新点
无监督学习:MASA不依赖于手动标注的域内视频数据,而是从未经标记的图像中提取知识。
SAM的利用:SAM自动将属于同一实例的像素分组,提供形状和边界信息,有助于学习区分特征。
MASA Adapter:将现有的分割和检测模型扩展到对象跟踪任务中,通过多尺度特征金字塔和可变形卷积生成动态偏移,聚合空间位置和特征层次信息。

4. 实验结果:MASA在TAO Track mAP、Open-vocabulary MOT等基准测试中的表现优于或媲美当前最先进的监督学习方法,展现了强大的零样本关联能力。

5. 结论:MASA的提出为自动驾驶、视频监控、机器人视觉等领域的应用提供了新的可能性,预示着多目标跟踪技术新时代的到来。

技术专栏:提供了多模态大模型、Transformer系列、ICCV2023论文解读等技术专栏,帮助读者深入了解相关技术。

技术综述:包括Neural ODE详解、Transformer细节等技术综述,为读者提供全面的知识体系。

点击阅读原文:进入CV社区,收获更多技术干货。

文章来源


原文地址: 点我阅读全文
原文作者: 极市平台

© 版权声明

相关文章

暂无评论

暂无评论...