谷歌推出基于Transformer的创新技术——无限注意力

AI最新资讯3周前发布 tree
18 0 0

今日应用


今日话题


谷歌推出基于Transformer的创新技术——无限注意力
谷歌推出基于Transformer的创新技术——无限注意力
 

重点标签 Infini-AttentionAIGCTransformer大模型谷歌创新

文章摘要


Infini-Attention是谷歌基于Transformer提出的一种创新技术,旨在解决传统Transformer在处理超长序列数据时遇到的内存和计算瓶颈问题。通过融合压缩记忆、局部遮蔽注意力等模块,Infini-Attention能够轻松处理无限序列数据,同时保持有限的内存和计算资源。

压缩记忆是Infini-Attention的核心模块之一,允许大模型以固定数量的参数存储和回忆信息,实现对长文本的有效处理。与传统注意力机制不同,压缩记忆不会随着输入序列长度的增加而增长,而是通过改变其参数来添加新信息,提升推理、计算效率并降低内存使用。在处理新的输入序列时,大模型会压缩记忆中的key和value对,通过一个简单的关联绑定操作将新的key和value对与记忆中现有的信息结合起来,确保即使在处理极长的序列时,大模型也能以较低的内存完成并保持稳定。

记忆更新是Infini-Attention的另一个关键模块,主要负责在处理新的输入序列时更新压缩记忆模块中的key和value对。记忆更新基于神经科学中的Hebbian学习原则,即如果两个神经元同时激活,它们之间的连接会变得更加强大。这种机制支持了学习和记忆的过程,使得神经网络能够根据经验调整其内部连接。在Infini-Attention中,新的输入信息通过注意力查询与现有的记忆键进行匹配,并将匹配的结果直接更新到记忆中。记忆参数会根据新的输入信息进行调整,通过计算新的key和value对与当前记忆状态的差值,然后将这个差值应用到关联矩阵上来实现。

局部遮蔽注意力是Infini-Attention的另一个重要模块,主要用于限制大模型的注意力范围,使其只能关注当前处理的局部上下文,而不是无限制的全序列检索。对于每个输入序列,模型会创建一个遮蔽矩阵,其中的元素通常是一个二值矩阵,1表示允许注意力聚焦的标记,0表示需要遮蔽的标记。在计算自注意力分数时,大模型会将遮蔽矩阵与注意力分数矩阵相乘,被遮蔽的标记对应的注意力分数会被设置为一个很小的值。通过遮蔽注意力分数,大模型可以计算加权和,即每个标记的上下文表示,只包括未被遮蔽的标记,确保模型的输出集中在当前的局部上下文上,从而更好地捕捉和理解序列的连贯性。

开发人员将Infini-Attention在长上下文语言建模、密钥检索任务和书籍摘要任务中进行了综合测试。结果显示,Infini-Attention模型在这些基准测试中的表现优于Transformer-XL和Memorizing Transformers等基础模型。尤其是在使用100K序列长度进行训练时,Infini-Attention的困惑度得分大幅度降低,显示出其在处理长序列数据方面的优势。

Infini-Attention的提出为大语言模型(LLM)的发展和应用提供了新的解决方案,有望推动AIGC领域的进一步发展。这项技术的出现,不仅解决了Transformer在处理长序列数据时的瓶颈问题,也为AIGC开发者生态带来了新的机遇和挑战。随着Infini-Attention等创新技术的不断涌现,AIGC领域将迎来更加广阔的发展前景。

文章来源


原文地址: 点我阅读全文
原文作者: AIGC开放社区

© 版权声明

相关文章

暂无评论

暂无评论...