Trio-ViT：专门针对高效 ViTs 的卷积 Transformer混合架构的加速器

今日应用

龋齿一号

龋齿一号GFXCamp – CG营地|高速下载最新CG素材资源

今日话题

Trio-ViT：专门针对高效 ViTs 的卷积 Transformer混合架构的加速器

 

重点标签 tag1、ViT加速器、tag2、模型量化、tag3、Transformers、tag4、EfficientViT、tag5、算法和硬件共同设计

文章摘要

本文介绍了一种针对视觉Transformers（ViTs）的量化和加速方法，称为Trio-ViT。该方法旨在解决ViTs在嵌入式设备上部署时面临的模型尺寸大和计算密集的问题。作者提出了一种定制的后训练量化引擎，针对去除Softmax的高效ViTs的激活分布进行优化，以提高量化精度。此外，作者还构建了一个针对高效ViTs的卷积-Transformer混合架构的加速器，以提高硬件效率。实验结果表明，Trio-ViT框架在保持相似准确度的同时，能够实现高达7.2和14.6的FPS速度提升，以及5.9和2.0的DSP效率。
详细摘要：
1. 引言： 介绍了Transformers在NLP领域的成功，并指出ViTs在计算机视觉任务中的显著性能。然而，ViTs的模型尺寸和计算量限制了其在嵌入式设备上的部署，因此需要有效的模型压缩方法，如量化。
2. 相关工作： 讨论了ViTs的量化和加速的相关研究，包括模型量化、Efficient ViTs和Transformer加速器。
3. 预备知识： 介绍了标准ViTs的结构和局限性，以及EfficientViT的结构。
4. Trio-ViT的后训练量化： 作者在EfficientViT的基础上探索了量化和加速，提出了定制的后训练量化引擎，并分析了量化的挑战和解决方案。
5. Trio-ViT的加速器： 作者提出了一个混合架构的加速器，包括MAT引擎、R-MAC引擎和辅助处理器，以支持EfficientViT中的各种操作类型。此外，还提出了流水线架构，以提高硬件利用率并减轻带宽需求。
6. 实验和消融研究： 展示了Trio-ViT框架的有效性，包括FPS速度提升和DSP效率。
7. 总结： 作者期望Trio-ViT能为去除Softmax的高效ViTs的量化和加速开辟新视角。
重点内容：
– Trio-ViT框架： 结合了算法和硬件共同设计的后训练量化与加速框架，用于高效视觉Transformer（ViTs）。
– 定制的后训练量化引擎： 针对去除Softmax的高效ViTs的激活分布进行优化，提高量化精度。
– 混合架构加速器： 包括MAT引擎、R-MAC引擎和辅助处理器，支持EfficientViT中的各种操作类型。
– 流水线架构： 促进层间和层内融合，提高硬件利用率并减轻带宽需求。
– 实验结果： 与现有ViT加速器相比，Trio-ViT在保持相似准确度的同时，实现了显著的FPS速度提升和DSP效率。

文章来源

原文地址: 点我阅读全文
原文作者: 极市平台