今日应用
今日话题
ECCV 2024｜POA：已开源，蚂蚁集团提出同时预训练多种尺寸网络的自监督范式
重点标签 Pre-training Once for All、自监督学习、弹性分支设计、ViT、Swin Transformer
文章摘要
POA自监督学习框架的核心是引入了一个创新的弹性student分支，该分支通过参数共享嵌入了一系列子网络，这些子网络是基于观察到现代网络结构中，较小尺寸的模型是较大尺寸模型的子网络。在每个预训练步骤中，随机从原始student中抽样一个子网络来形成弹性student，并以自蒸馏的方式训练所有分支。一旦预训练完成，POA允许提取不同大小的预训练模型用于下游任务。
实验表明，POA在单次预训练会话中跨多种模型尺寸实现了最先进的准确性，使用ViT、Swin Transformer和ResNet骨干网络实现了SOTA性能，并通过一次预训练会话生成了大约一百个不同大小的模型。此外，POA还与自监督蒸馏方法SEED进行了比较，进一步验证了其有效性。
技术贡献包括：
1. POA是首个将无监督表示学习和一次性模型生成集成到单个预训练会话中的预训练范式，解决了一次性预训练挑战，对实际部署非常重要。
2. 提出了弹性student组件，具有一系列弹性算子，使POA与多种流行骨干结构兼容，具备生成各种大小模型的能力。
3. 通过k-NN、线性探测和下游密集任务评估的彻底评估，展现了优于现有最先进预训练方法的性能。
实验部分使用了三种广泛使用的骨干架构，即ViT、Swin Transformer和ResNet，在ImageNet-1K数据集上进行了预训练，并使用k-NN和线性探测分类评估，以及在下游密集预测任务进行评估，如目标检测和语义分割。结果证明了POA的有效性和优势。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台
相关文章
