今日应用
今日话题
谷歌推出基于Transformer的创新技术——无限注意力
重点标签 Infini-Attention、AIGC、Transformer、大模型、谷歌创新
文章摘要
Infini-Attention是谷歌基于Transformer提出的一种创新技术，旨在解决传统Transformer在处理超长序列数据时遇到的内存和计算瓶颈问题。通过融合压缩记忆、局部遮蔽注意力等模块，Infini-Attention能够轻松处理无限序列数据，同时保持有限的内存和计算资源。
压缩记忆是Infini-Attention的核心模块之一，允许大模型以固定数量的参数存储和回忆信息，实现对长文本的有效处理。与传统注意力机制不同，压缩记忆不会随着输入序列长度的增加而增长，而是通过改变其参数来添加新信息，提升推理、计算效率并降低内存使用。在处理新的输入序列时，大模型会压缩记忆中的key和value对，通过一个简单的关联绑定操作将新的key和value对与记忆中现有的信息结合起来，确保即使在处理极长的序列时，大模型也能以较低的内存完成并保持稳定。
记忆更新是Infini-Attention的另一个关键模块，主要负责在处理新的输入序列时更新压缩记忆模块中的key和value对。记忆更新基于神经科学中的Hebbian学习原则，即如果两个神经元同时激活，它们之间的连接会变得更加强大。这种机制支持了学习和记忆的过程，使得神经网络能够根据经验调整其内部连接。在Infini-Attention中，新的输入信息通过注意力查询与现有的记忆键进行匹配，并将匹配的结果直接更新到记忆中。记忆参数会根据新的输入信息进行调整，通过计算新的key和value对与当前记忆状态的差值，然后将这个差值应用到关联矩阵上来实现。
局部遮蔽注意力是Infini-Attention的另一个重要模块，主要用于限制大模型的注意力范围，使其只能关注当前处理的局部上下文，而不是无限制的全序列检索。对于每个输入序列，模型会创建一个遮蔽矩阵，其中的元素通常是一个二值矩阵，1表示允许注意力聚焦的标记，0表示需要遮蔽的标记。在计算自注意力分数时，大模型会将遮蔽矩阵与注意力分数矩阵相乘，被遮蔽的标记对应的注意力分数会被设置为一个很小的值。通过遮蔽注意力分数，大模型可以计算加权和，即每个标记的上下文表示，只包括未被遮蔽的标记，确保模型的输出集中在当前的局部上下文上，从而更好地捕捉和理解序列的连贯性。
开发人员将Infini-Attention在长上下文语言建模、密钥检索任务和书籍摘要任务中进行了综合测试。结果显示，Infini-Attention模型在这些基准测试中的表现优于Transformer-XL和Memorizing Transformers等基础模型。尤其是在使用100K序列长度进行训练时，Infini-Attention的困惑度得分大幅度降低，显示出其在处理长序列数据方面的优势。
Infini-Attention的提出为大语言模型（LLM）的发展和应用提供了新的解决方案，有望推动AIGC领域的进一步发展。这项技术的出现，不仅解决了Transformer在处理长序列数据时的瓶颈问题，也为AIGC开发者生态带来了新的机遇和挑战。随着Infini-Attention等创新技术的不断涌现，AIGC领域将迎来更加广阔的发展前景。
文章来源
原文地址: 点我阅读全文
原文作者: AIGC开放社区
相关文章
