Mamba在点云分析中是否有潜力替代Transformer？PointMamba迎来更新！

今日应用

艺映AI

释放每一帧的创造力和创新，免费AI视频生成平台，专业创建文生视频和AI动态短视频。将文本转换为高质量AI视频，适用于多种场景，如抖音短视频、小说推文、AI短片、AI电影等制作。

今日话题

Mamba在点云分析中是否有潜力替代Transformer？PointMamba迎来更新！

 

重点标签 点云分析、状态空间模型、全局建模、计算开销、自监督学习

文章摘要

PointMamba 是首个基于状态空间模型的点云分析方法，它在保持线性复杂度和全局信息建模的同时，避免了复杂的结构设计。这一方法在点云分析数据集上展示了优越的性能，尤其在长序列输入下，与Transformer方法相比，在计算开销上有显著提升，为后续研究提供了一个简单且高效的新基线。

PointMamba的设计和实现

PointMamba的设计遵循奥卡姆剃刀原则，确保了结构的简洁性。输入点云首先通过FPS（Fast Point Sampling）选取关键点，然后使用三维希尔伯特曲线（Hilbert）及其转置变体（Trans-Hilbert）按顺序遍历关键点，得到序列化的点云。接着，使用通用的Point tokenizer将关键点转换为Point tokens。此外，引入了一个简单的顺序指示器以区分不同扫描策略的token特征。

Mamba encoder由N个Vanilla Mamba block组成，通过一个直观的示意图展示了PointMamba的全局建模能力。在对第一组token建模后，积累的全局信息可以改进下一组标记的序列化过程，确保每个序列化点都能从之前处理过的序列的整个历史中获得信息。

PointMamba的自监督预训练

PointMamba提出了一种序列化的掩码建模预训练方式。通过随机选取一种空间填充曲线序列化点云，并使用对应的order indicator得到encoder输入。经过Vanilla Mamba encoder的特征编码，在被mask掉token的地方插入mask token，经过Vanilla Mamba decoder和投影层将mask token恢复为原始点云。

PointMamba的性能表现

在真实世界点云分类数据集ScanObjectNN、模拟数据集ModelNet40、Fewshot learning、部件分割中，PointMamba取得了优异的性能。在效率方面，得益于Mamba的架构优势，当token序列增长到较长序列时，相较Point-MAE（Vanilla Transformer）在推理速度、推理显存占用、FLOPs上有显著提升。

总结

PointMamba作为首个状态空间的点云分析模型，通过设计输入序列化为单向建模的Mamba，具备高效的全局建模能力。使用最简洁的Vanilla架构，验证了新架构相比Transformer的优势，在点云分析任务中取得了优越的性能并展现了巨大的潜力。

文章来源

原文地址: 点我阅读全文
原文作者: 极市平台