华为诺亚频域LLM「帝江」：仅需1/50训练成本，7B模型媲美LLaMA，推理加速5倍

今日应用

触手AI – 生成动漫

触手AI - 强大的AI图像创作平台，文字生成、图生成、条件生图，让创作更加自由和有趣！

今日话题

华为诺亚频域LLM「帝江」：仅需1/50训练成本，7B模型媲美LLaMA，推理加速5倍

 

重点标签 帝江模型、Transformer、自注意力、计算复杂度、频域

文章摘要

研究背景
大型语言模型（LLMs）在自然语言处理（NLP）领域取得了显著成果，但随着模型规模的扩大，计算需求也随之增加。现有优化 Transformer 的方法，如线性 Transformer、Mamba、RetNet 等，虽然降低了计算成本，但模型重训练的成本依然高昂。为了解决这一问题，研究者们对现有的线性注意力方案和自注意力近似方案进行了深入分析，并提出了帝江模型。

方法介绍
帝江模型通过采用加权拟蒙特卡洛采样和频域离散余弦变换（DCT），有效降低了自注意力机制的计算复杂度。与传统的 Transformer 模型相比，帝江模型在保持精度的同时，实现了更快的推理速度和更低的训练成本。论文还提供了理论证明，表明帝江模型的频域映射是一种与原始注意力机制近似等效的方法。

实验结果
实验结果显示，帝江模型在不同规模上均能实现与原始模型相当的精度，并且在 1B 模型量级上超越了 1.3B 大小的 Mamba 模型。此外，帝江 – 7B 模型的续写样例也展示了其优秀的性能。

总结
帝江模型作为一种新的 LLM 架构，在降低训练和计算成本方面取得了显著成果。这一创新为未来大型语言模型的高效部署提供了新的可能性，值得关注其在更大模型和多模态 VLM 等领域的应用前景。

文章来源

原文地址: 点我阅读全文
原文作者: 机器之心