轻量化之王MobileNetV4 开源：Top-1 精度 87%，手机推理速度 3.8ms

今日应用

360智绘

360智绘

今日话题

轻量化之王MobileNetV4 开源：Top-1 精度 87%，手机推理速度 3.8ms

 

重点标签 tag1、MobileNetV4、tag2、神经网络架构搜索、 tag3、帕累托最优、 tag4、蒸馏技术、 tag5、移动设备

文章摘要

摘要：

本文介绍了最新一代的MobileNets，名为MobileNetV4（MNv4），专为移动设备设计的通用高效架构。作者采用两阶段神经网络架构搜索（NAS）方法，通过粗略搜索与细粒度搜索的分离，显著提升了搜索效率，并促进了比先前最先进模型显著更大的模型的创建。MNv4的核心部分引入了通用倒瓶颈（UIB）搜索块，这是一个统一且灵活的结构，融合了多种网络结构的优点。同时，作者还提出了Mobile MQA，一个专为移动加速器设计的注意力块，能带来显著的39%速度提升。

MNv4模型系列在多种硬件平台上实现了帕累托最优性能，覆盖了从极其紧凑的设计到高端变体。作者还引入了一种新颖的蒸馏技术，进一步提升了准确度。在ImageNet-1K上的测试中，MNv4-Hybrid-Large模型的准确度达到了87%，在Pixel 8 EdgeTPU上的运行时间仅为3.8ms。

文章还讨论了相关工作，包括移动卷积网络、高效混合网络、高效注意力和硬件感知神经架构搜索（NAS）。作者提出的硬件独立的帕累托效率概念，通过屋顶线模型和脊点扫描分析，展示了MNv4如何在不同硬件上实现几乎帕累托最优性能。

在详细介绍了MNv4的设计原则和NAS优化方法后，作者展示了MNv4在ImageNet分类和COCO目标检测上的性能，并与当前领先的效率模型进行了比较。此外，作者还介绍了一种增强的蒸馏配方，通过动态数据集混合和JFT数据增强，进一步提高了模型的准确度。

最后，作者总结了MNv4的贡献，并提出了未来移动计算机视觉发展的新方向。附录部分提供了搜索空间构建、基准测试策略、训练设置和模型细节等额外信息。

关键词：MobileNetV4, 神经网络架构搜索（NAS）, 帕累托最优, 蒸馏技术, 移动设备

文章来源

原文地址: 点我阅读全文
原文作者: 极市平台