今日应用
今日话题
大模型+蒙特卡洛树搜索,一招让LLaMa-3 8B奥数水平直逼GPT-4
重点标签 数学竞赛、AI挑战、算法创新、MCTSr、自我评估
文章摘要
在2024年阿里巴巴全球数学竞赛预选赛中,17岁的中专生姜萍取得了全球第12名的佳绩,同时AI挑战赛的成绩也显示出AI在数学竞赛中的潜力。然而,AI在逻辑推理能力上的不足,尤其是在证明题上难以获得完整得分点,这成为了大语言模型(LLM)在策略和逻辑推理任务中面临的重大挑战。为了解决这一问题,复旦大学和上海AI Lab的研究者提出了MCTSr算法,将LLM与蒙特卡洛树搜索(MCTS)算法相结合,以提高LLM在复杂数学推理任务中的表现。
MCTS作为一种决策工具,在需要战略规划的场景中广泛应用,如游戏和复杂问题解决环境。通过将MCTS的系统探索能力与LLM的Self-Refine和Self-Evaluation能力相结合,旨在创建一个更强大的框架来应对当前LLM难以解决的复杂推理任务。在集成MCTS与LLM过程中,研究者面临技术挑战,如传统MCTS策略与LLM输出的随机性和生成性不吻合,以及需要定制的期望计算和反向传播方法来适应LLM的特有属性。
MCTSr的工作流程包括初始化、选择、Self-Refine、Self-Evaluation、反向传播和UCT更新等阶段。Self-Refine阶段通过多轮对话完善提示来优化答案,而Self-Evaluation阶段则通过模型自我奖励反馈和约束来计算答案的Q值。反向传播阶段确保节点的Q值能够反映其所有可能子节点的最新状态和评估。更新UCT和选择阶段则通过候选节点选择和UCT更新来平衡节点的探索和利用。
实验结果表明,MCTSr算法在解决数学问题中的有效性,尤其是在Zero-Shot CoT、Self-Refine、4-rollouts MCTSr和8-rollouts MCTSr等设置中,与GPT-4、Claude 3和Gemini 1.5-Pro等进行了比较。在GSM8K和GSM-hard测试集上,MCTSr的rollout次数与成功率之间存在直接相关性,并随着迭代次数增加而显著提升。然而,在更复杂的GSM-Hard测试集中,即使rollout次数更高也会达到性能上限,表明当前策略在解决复杂问题时存在局限性。
在MATH数据集上,MCTSr算法在不同复杂度级别的问题上展示了其有效性,尤其是在Level 1的简单问题上,8次rollout后实现了90.16%的成功率。而在最具挑战性的Level 5难度上,8次rollout后,MCTSr的成功率为34.06%。这些结果验证了MCT-Self-refine算法在学术和问题解决上下文中的潜力,并强调了其对不同复杂度级别问题的可扩展性和适应性。
此外,MCT-Self-refine算法在奥数竞赛的三个数据集上也进行了测试,结果显示其在未见过的数学问题上的适用性,并在奥林匹克等竞争性学术环境中具有优势。与当前闭源大模型进行比较时,MCTSr可以有效提升小参数开源模型的数学推理能力到相当的水平。
这项研究推进了LLM在复杂推理挑战中的应用,为未来整合AI相关的技术创新奠定了基础,使得LLM驱动的应用拥有了更强大的决策制定、推理准确性和可靠性。
文章来源
原文地址: 点我阅读全文
原文作者: 机器之心