一文总结当下常用的大型 transformer 效率优化方案

今日应用

Jiumo Search 鸠摩搜索

鸠摩搜索引擎是一款专注于电子书的搜索工具，提供广泛且多样的电子书资源，界面简洁高效，帮助用户轻松找到所需内容，是阅读爱好者的理想选择。

今日话题

一文总结当下常用的大型 transformer 效率优化方案

 

重点标签 模型综述、量化策略、剪枝、稀疏化、MoE

文章摘要

模型综述
本文探讨了大型 Transformer 模型的效率优化方案。大型 Transformer 模型在各种任务中创造了 SOTA 结果，但其训练和使用成本高昂。文章介绍了提高 Transformer 推理效率的方法，包括网络压缩技术和特定体系结构的改进。

量化策略
深度神经网络的量化策略有两种：训练后量化（PTQ）和量化感知训练（QAT）。然而，Transformer 模型的量化存在挑战，如简单的低位量化会导致性能显著下降。混合精度量化和细粒度量化是解决这些问题的方法。此外，还有使用二阶信息量化和异常值平滑的技术。

剪枝
网络剪枝通过修剪不重要的权重或连接减小模型大小。剪枝可以是非结构化的或结构化的。Magnitude pruning 是一种有效的剪枝方法。迭代剪枝通过多次迭代逐步剪枝和重新训练模型。再训练可以通过微调或使用蒸馏损失优化低精度模型。

稀疏化
稀疏化是保持模型推理计算效率的有效方法。本文讨论了通过剪枝实现的 N:M 稀疏化和稀疏 Transformer 架构。稀疏 Transformer 通过稀疏化自注意力层和 FFN 层显著提高了解码速度。

MoE
混合专家系统（MoE）模型通过激活网络的子集来节省推理成本。V-MoE 和任务级 MoE 是 MoE 架构的改进，通过优化路由策略提高性能。PR MoE 通过在靠后的层上设计更多的出口来提高效率。内核方面的改进措施和架构优化也是提高 MoE 效率的重要方面。

文章来源

原文地址: 点我阅读全文
原文作者: 极市平台