Trio-ViT:专门针对高效 ViTs 的卷积 Transformer混合架构的加速器

AI最新资讯1周前发布 tree
12 0 0

今日应用


今日话题


Trio-ViT:专门针对高效 ViTs 的卷积 Transformer混合架构的加速器
Trio-ViT:专门针对高效 ViTs 的卷积 Transformer混合架构的加速器
 

重点标签 tag1ViT加速器tag2模型量化tag3Transformerstag4EfficientViTtag5算法和硬件共同设计

文章摘要


本文介绍了一种针对视觉Transformers(ViTs)的量化和加速方法,称为Trio-ViT。该方法旨在解决ViTs在嵌入式设备上部署时面临的模型尺寸大和计算密集的问题。作者提出了一种定制的后训练量化引擎,针对去除Softmax的高效ViTs的激活分布进行优化,以提高量化精度。此外,作者还构建了一个针对高效ViTs的卷积-Transformer混合架构的加速器,以提高硬件效率。实验结果表明,Trio-ViT框架在保持相似准确度的同时,能够实现高达7.2和14.6的FPS速度提升,以及5.9和2.0的DSP效率。
详细摘要:
1. 引言: 介绍了Transformers在NLP领域的成功,并指出ViTs在计算机视觉任务中的显著性能。然而,ViTs的模型尺寸和计算量限制了其在嵌入式设备上的部署,因此需要有效的模型压缩方法,如量化。
2. 相关工作: 讨论了ViTs的量化和加速的相关研究,包括模型量化、Efficient ViTs和Transformer加速器。
3. 预备知识: 介绍了标准ViTs的结构和局限性,以及EfficientViT的结构。
4. Trio-ViT的后训练量化: 作者在EfficientViT的基础上探索了量化和加速,提出了定制的后训练量化引擎,并分析了量化的挑战和解决方案。
5. Trio-ViT的加速器: 作者提出了一个混合架构的加速器,包括MAT引擎、R-MAC引擎和辅助处理器,以支持EfficientViT中的各种操作类型。此外,还提出了流水线架构,以提高硬件利用率并减轻带宽需求。
6. 实验和消融研究: 展示了Trio-ViT框架的有效性,包括FPS速度提升和DSP效率。
7. 总结: 作者期望Trio-ViT能为去除Softmax的高效ViTs的量化和加速开辟新视角。
重点内容:
Trio-ViT框架: 结合了算法和硬件共同设计的后训练量化与加速框架,用于高效视觉Transformer(ViTs)。
定制的后训练量化引擎: 针对去除Softmax的高效ViTs的激活分布进行优化,提高量化精度。
混合架构加速器: 包括MAT引擎、R-MAC引擎和辅助处理器,支持EfficientViT中的各种操作类型。
流水线架构: 促进层间和层内融合,提高硬件利用率并减轻带宽需求。
实验结果: 与现有ViT加速器相比,Trio-ViT在保持相似准确度的同时,实现了显著的FPS速度提升和DSP效率。

文章来源


原文地址: 点我阅读全文
原文作者: 极市平台

© 版权声明

相关文章

暂无评论

暂无评论...