Meta开发System 2蒸馏技术,Llama 2对话模型任务准确率接近100%

AI最新资讯3个月前发布 tree
28 0 0

今日应用


今日话题


Meta开发System 2蒸馏技术,Llama 2对话模型任务准确率接近100%
Meta开发System 2蒸馏技术,Llama 2对话模型任务准确率接近100%
 

重点标签 AI系统推理任务自动性System 2蒸馏System 1微调

文章摘要


System 2 蒸馏提升AI推理性能
在大语言模型(LLM)的策略中,System 2推理倾向于深思熟虑的思维,生成中间思维允许模型进行推理和规划。然而,这种明确的推理通常会带来更高的推理成本和响应延迟。为了解决这一问题,Meta FAIR的研究者探索了一种System 2蒸馏方法,该方法可以在无监督的情况下将System 2推理蒸馏回System 1中。

无监督编译提高训练数据质量
System 2蒸馏的第一步是使用System 2模型对未标记的输入生成响应。然后,这些响应可以直接用作System 2蒸馏目标,以微调System 1模型。研究者采用了无监督管理步骤来提高训练数据质量,包括输出的自洽性和输入扰动下的自洽性。

实验结果表明蒸馏有效性
研究者对4种不同的System 2 LLM方法和5种不同的任务进行了实验。结果发现,System 2蒸馏可以在各种设置中提升System 1的性能。例如,在最后一个字母连接任务中,通过2-Step RaR方法蒸馏回System 1的模型实现了98.0%的准确率。在硬币翻转推理任务中,使用2-Step RaR蒸馏的模型也获得了75.69%的准确率。

并非所有任务都适合蒸馏
尽管System 2蒸馏在某些任务中表现出色,但并非所有任务都适合进行蒸馏。特别是需要思维链的复杂数学推理任务,如果没有深思熟虑的System 2推理,人类和AI都无法执行。

论文地址
有关这项研究的更多细节,请参阅论文:[https://arxiv.org/pdf/2407.06023v2](https://arxiv.org/pdf/2407.06023v2)

文章来源


原文地址: 点我阅读全文
原文作者: 机器之心

© 版权声明

相关文章

暂无评论

暂无评论...