ECCV 2024 Oral 满分论文！SpikeYOLO：高性能低能耗目标检测网络

今日应用

喜番AI

喜番-用户开放云，我们着力于把人工智能的创新整合入您的日常生活和工作，提供一系列卓越的应用产品和服务。我们的智能绘画系统开拓了艺术创作的新境界，激发您的创造潜能。无论您是资深艺术家还是初学者，喜番都能带给您无与伦比的绘图体验。而我们的智能对话工具无论在工作还是日常沟通中，都能提供精准的语义理解与迅速的反馈，实现高效交流。我们相信智能技术的无限可能，并通过云服务让尖端应用触手可及。我们的愿景是建立一个开放的应用平台，利用智能系统的强力推动每一个创新者的发展，与用户共同探索人工智能带来的美妙与便利。加入喜番，让我们一起改变生活的崭新篇章，借助喜番的先进技术，携手创造一个更加美好的未来。

今日话题

ECCV 2024 Oral 满分论文！SpikeYOLO：高性能低能耗目标检测网络

 

重点标签 SpikeYOLO、脉冲神经网络、目标检测、I-LIF神经元、性能提升

文章摘要

摘要：
本文介绍了一种新型的目标检测框架SpikeYOLO，以及一种新型的脉冲神经元——I-LIF神经元。SpikeYOLO框架结合了YOLOv8的宏观设计与Meta-SpikeFormer的微观设计，通过简化网络架构以减少脉冲退化现象，同时利用I-LIF神经元在训练时采用整数值，推理时转化为二值脉冲序列，有效降低了量化误差。在静态COCO数据集上，SpikeYOLO在mAP@50和mAP@50:95上分别达到了66.2%和48.9%，相较于之前最先进的SNN模型分别提高了15.0%和18.7%。此外，在神经形态目标检测数据集Gen1上，SpikeYOLO的mAP@50达到了67.2%，比同架构的ANN提高了2.5%，并且能效提升了5.7倍。

背景：
脉冲神经网络（SNN）因其生物合理性和低功耗特性，被认为是人工神经网络（ANN）的有效替代方案。然而，SNN在计算机视觉中的大多数应用仅限于简单的图像分类任务，很少应用于具有挑战性的目标检测任务。SpikeYOLO的提出旨在弥合SNN和ANN在目标检测任务上的性能差距。

主要贡献：
1. 简化SNN架构以缓解脉冲退化：SpikeYOLO框架避免了过于复杂的网络架构设计，结合了YOLOv8和Meta-SpikeFormer的设计思想。
2. 设计整数训练脉冲推理神经元以减少量化误差的影响：提出了I-LIF神经元，通过整数值训练和二值脉冲序列推理，有效降低量化误差。
3. 最佳性能：在COCO数据集和Gen1数据集上，SpikeYOLO均取得了显著的性能提升。

方法：
– 架构设计：SpikeYOLO简化了YOLO的网络模块设计，采用了meta SNN模块，包含倒残差结构和重参数化等设计思想。
– 神经元设计：I-LIF神经元在训练过程中采用整数进行训练，推理时通过拓展虚拟时间步的方法将整数值转化为二值脉冲序列。

实验结果：
– 在COCO数据集上，SpikeYOLO达到了66.2%的mAP@50和48.9%的mAP@50:95，显著优于先前SNN模型。
– 在Gen1数据集上，SpikeYOLO的mAP@50达到了67.2%，比同架构的ANN提高了2.5%，并且能效提升5.7倍。

消融实验：
– 在COCO数据集上进行的消融实验表明，SpikeYOLO的架构设计有助于提升性能。
– 在Gen1数据集上测试了不同时间步和量化值对模型性能和能耗的影响，发现适当增加时间步或量化值有助于提升模型性能，同时降低能耗。

结论：
SpikeYOLO框架和I-LIF神经元的提出，有效地提升了SNN在目标检测任务上的性能，为SNN在计算机视觉领域的应用提供了新的可能性。

文章来源

原文地址: 点我阅读全文
原文作者: 极市平台