CVPR’24｜DeiT-LT：印度科学院提出针对长尾数据的`DeiT`升级模型

今日应用

磁力多

强大的磁力资源搜索网站，BT搜索，汇聚海量资源，一键获取高清影音、热门软件等。快速稳定，搜索精准，让你轻松找到所需内容，畅享无限资源。

今日话题

CVPR’24｜DeiT-LT：印度科学院提出针对长尾数据的`DeiT`升级模型

 

重点标签 Deit-LT、ViT、CNN、OOD、DRW

文章摘要

Deit-LT模型的核心特点包括：
1. 通过OOD图像进行蒸馏：Deit-LT使用强增强生成的分布外图像，从低分辨率教师网络中提取知识，增强了模型对少数类的泛化能力。
2. DRW损失：引入了延迟重加权(DRW)损失来计算蒸馏损失，增强了模型对尾部类别的关注。
3. 局部特征的引入：通过OOD蒸馏，Deit-LT生成的尾部特征表现出类似CNN的局部性，提高了少数类的泛化能力。
4. 使用SAM训练的CNN教师模型：通过SAM训练的教师模型，Deit-LT能够学习到低秩泛化特征，进一步提升了模型的泛化性。

实验设置和结果：
– 在小规模数据集CIFAR-10 LT和CIFAR-100 LT上，Deit-LT模型训练了1200个周期，尾部专家分类器的DRW训练从第1100个周期开始。
– 在大规模数据集ImageNet-LT和iNaturalist-2018上，模型分别训练了1400和1000个周期，尾部专家分类器的DRW训练分别从1200和900个周期开始。
– 实验结果表明，Deit-LT在长尾数据集上取得了显著的性能提升，证明了其有效性。

总结：
Deit-LT作为一种新型的数据高效ViT模型，通过创新的设计原则和蒸馏策略，在长尾数据集上实现了对多数类和少数类的分类效果的显著提升。其在小规模和大规模数据集上的实验结果都证明了其有效性和优越性。

文章来源

原文地址: 点我阅读全文
原文作者: 极市平台