ICLR 2025审稿正式开启了,预计截止到11月3日。而且,每位审稿人最多被分配到3篇论文,就是为了让大家深思熟虑去撰写高质量反馈。ICLR 2025共有11000多篇论文提交,同比增长61%。ICLR 2024同比增长47%。如此多的论文,究竟该怎么审?如何获得建设性、高质量同行评审?而且,论文提交数增加,对评审员需求也会增加,往往导致评审质量不一致问题。对此,ICLR官方竟引入了「评审反馈智能体」(review feedback agent),让AI去识别审查中的问题,并向审稿人反馈改进。更有意思的是,很少发声的Bengio转发了ICLR 2025官博,继续征集不同于学术论文的投稿形式——博客文章。ICLR顶会每年举办一次,2025年将是第13届年会,于4月24日-28日将在新加坡举办。
鉴于投稿数那么多,ICLR 2025也是想要借AI洪荒之力解难了。目的是为了,让AI帮助审稿人的评审结果,更具建设性、可操作性。为此,ICLR使用了多个大模型设计出反馈系统,就是为了将化觉降到最低,提高反馈质量。而且,该系统已经在ICLR 2024评审意见上,进行了测试。「评审反馈智能体」将就审稿中可能存在的三类问题,提供建议。ICLR 2025官方组委会通过汇编公众评论,并评估了以往ICLR审稿确定了这三类问题:– 鼓励审稿人改写含糊的评论,让其对作者更具可操作性;– 突出文章中可能已经回答了审稿人一些问题的部分;如下,是由AI为以上三种类别标记的评论的示例,并给出一个示例反馈。以往几届,不论是哪个顶会,都会被作者们吐槽的一个问题是——审稿人太糊弄了。一句话——这篇论文还应提供更多实验数据,直接给了低分。而这次,审稿人这种模棱两可的评论,就要被AI「打回去」了。如果能提出您认为必须包括的具体基线,将会很有帮助。您是否认为目前的比较缺少某些方法?能否详细说明原因?
当审稿人评论称,「在图4中,Transformer的效率实验没有结果,这是一个关键的限制因素」。而论文中,可能包含了这个结果,只是审稿人没有注意到。比如,审稿人会说,「作者完全不知自己想要做什么」。AI会建议道,「我们感谢您的评论,但恳请您将评论重点放在论文的具体内容和方法上,而不是对作者发表个人意见」。AI不会取代审稿人
官方表示了,智能体系统不会取代任何人类审稿人,而且也不会撰写审稿评论,或直接对评论自动编辑。相反,它将作为一个助手,提供可选的反馈。审稿人可以选择接纳,或者忽略。与以往的ICLR顶会一样,每一份提交的论文皆由人类审稿人独立进行反馈,最终的「接收」决定,将由ACS、SAS和审稿人做出。而且,AI将为随机选择的一部分初始评审提供反馈,以便进行比较并评估其影响。在评审意见对作者公开之前,审稿人将有机会更新他们的评审(如果愿意的话)。AI一般在提交评审后的几小时内,向审稿人提供建议。对后续的审稿人回应将不再提供反馈,审稿人与反馈系统之间也不会有进一步的互动。此外,反馈只对评审员和ICLR项目主席可见;不会与其他评审员、作者或区域主席(AC)分享,也不会影响录用决定。
据官方统计,今年有15249位审稿人,824位AC,以及71位高级AC。由于邀请了太多的审稿人,导致许多人尽管收到了电子邮件通知,却没有收到任何评审的论文。还有人指出,自己看到审稿人的自定义最大论文数(custom-max-papers)设置为0,本应无法分配到论文,但他们却被分配了一篇论文。这是怎么回事?
延续之前的传统,今年ICLR顶会继续批准提交博客类型的文章。– 回顾过去的工作并总结结果,提出新的直觉,或指出一些不足之处– 对现有的机器学习概念或技术提出新颖的观点或解释– 从新的角度讨论机器学习中的重要问题,如可复现性https://x.com/Yoshua_Bengio/status/1846197032966385867https://blog.iclr.cc/2024/10/09/iclr2025-assisting-reviewers/公众号后台回复“数据集”获取100+深度学习各方向资源整理
点击阅读原文进入CV社区
收获更多技术干货