轻量化之王MobileNetV4 开源:Top-1 精度 87%,手机推理速度 3.8ms

AI最新资讯5个月前发布 tree
68 0 0

今日应用


今日话题


轻量化之王MobileNetV4 开源:Top-1 精度 87%,手机推理速度 3.8ms
轻量化之王MobileNetV4 开源:Top-1 精度 87%,手机推理速度 3.8ms
 

重点标签 tag1MobileNetV4tag2神经网络架构搜索 tag3帕累托最优 tag4蒸馏技术 tag5移动设备

文章摘要


摘要:

本文介绍了最新一代的MobileNets,名为MobileNetV4(MNv4),专为移动设备设计的通用高效架构。作者采用两阶段神经网络架构搜索(NAS)方法,通过粗略搜索与细粒度搜索的分离,显著提升了搜索效率,并促进了比先前最先进模型显著更大的模型的创建。MNv4的核心部分引入了通用倒瓶颈(UIB)搜索块,这是一个统一且灵活的结构,融合了多种网络结构的优点。同时,作者还提出了Mobile MQA,一个专为移动加速器设计的注意力块,能带来显著的39%速度提升。

MNv4模型系列在多种硬件平台上实现了帕累托最优性能,覆盖了从极其紧凑的设计到高端变体。作者还引入了一种新颖的蒸馏技术,进一步提升了准确度。在ImageNet-1K上的测试中,MNv4-Hybrid-Large模型的准确度达到了87%,在Pixel 8 EdgeTPU上的运行时间仅为3.8ms。

文章还讨论了相关工作,包括移动卷积网络、高效混合网络、高效注意力和硬件感知神经架构搜索(NAS)。作者提出的硬件独立的帕累托效率概念,通过屋顶线模型和脊点扫描分析,展示了MNv4如何在不同硬件上实现几乎帕累托最优性能。

在详细介绍了MNv4的设计原则和NAS优化方法后,作者展示了MNv4在ImageNet分类和COCO目标检测上的性能,并与当前领先的效率模型进行了比较。此外,作者还介绍了一种增强的蒸馏配方,通过动态数据集混合和JFT数据增强,进一步提高了模型的准确度。

最后,作者总结了MNv4的贡献,并提出了未来移动计算机视觉发展的新方向。附录部分提供了搜索空间构建、基准测试策略、训练设置和模型细节等额外信息。

关键词:MobileNetV4, 神经网络架构搜索(NAS), 帕累托最优, 蒸馏技术, 移动设备

文章来源


原文地址: 点我阅读全文
原文作者: 极市平台

© 版权声明

相关文章

暂无评论

暂无评论...