谷歌、Anthropic推出创新神经压缩Equal-Info Windows

今日应用


今日话题


谷歌、Anthropic推出创新神经压缩Equal-Info Windows
谷歌、Anthropic推出创新神经压缩Equal-Info Windows
 

重点标签 神经压缩大语言模型窗口分割窗口压缩实验数据

文章摘要


研究人员联合谷歌DeepMind和Anthropic推出了一种创新的神经压缩方法——Equal-Info Windows,旨在解决大语言模型(LLM)如ChatGPT、Gemini、Claude等在训练和推理过程中因参数和功能复杂性导致成本指数级上升的问题。该方法通过文本数据的压缩,旨在提高模型的训练和推理效率,同时便于处理超长文本。

窗口分割是该方法的第一步,将原始文本数据分割成连续字符序列的窗口,每个窗口长度固定,以减少大语言模型在处理长距离依赖时的计算负担,提高处理速度和效率。接着,窗口压缩将每个窗口压缩为固定长度的比特串,通过算术编码(AC)实现高效的比特级压缩,同时保持原始文本信息。

在压缩过程中,研究人员训练了两个模型:M1负责将原始文本转换为压缩后的比特流,而M2则学习如何从压缩的比特流中恢复和理解原始文本信息。M2模型在推理阶段能够基于压缩输入生成未压缩的文本输出,实现压缩文本的逆转和新文本序列的生成。

实验数据显示,尽管Equal-Info Windows在模型参数数量相同的情况下,其困惑度略高于传统子词分割器,但在减少序列长度方面具有明显优势,能够在较少的自回归步骤中生成文本,降低模型推理时的延迟。此外,Equal-Info Windows在处理长文本时表现出色,能够更好地捕捉文本中的长距离依赖关系,对文档检索和编码问题等任务尤为重要。

该研究为大语言模型的训练和推理提供了一种新的神经压缩方法,有助于提高模型的效率和处理能力,同时为AIGC领域的开发者生态和市场研究提供了新的思路和工具。

文章来源


原文地址: 点我阅读全文
原文作者: AIGC开放社区

© 版权声明

相关文章

暂无评论

暂无评论...