ICLR 2025钦定AI参审,11000篇总投稿数暴增61%!

未分类3周前发布 tree
13 0 0
↑ 点击蓝字 关注极市平台
ICLR 2025钦定AI参审,11000篇总投稿数暴增61%!
来源丨新智元

极市导读

 

ICLR 2025评审已经开始了,今年审稿人高达15000+名,为了提高审稿质量,多个大模型组成的智能体也要参与审稿了。>>加入极市CV技术交流群,走在计算机视觉的最前沿

ICLR 2025审稿正式开启了,预计截止到11月3日。
而且,每位审稿人最多被分配到3篇论文,就是为了让大家深思熟虑去撰写高质量反馈。
ICLR 2025钦定AI参审,11000篇总投稿数暴增61%!
与2024年一样,今年论文提交数量再创新高!
ICLR 2025共有11000多篇论文提交,同比增长61%。ICLR 2024同比增长47%。
ICLR 2025钦定AI参审,11000篇总投稿数暴增61%!
如此多的论文,究竟该怎么审?如何获得建设性、高质量同行评审?
而且,论文提交数增加,对评审员需求也会增加,往往导致评审质量不一致问题。
对此,ICLR官方竟引入了「评审反馈智能体」(review feedback agent),让AI去识别审查中的问题,并向审稿人反馈改进。
更有意思的是,很少发声的Bengio转发了ICLR 2025官博,继续征集不同于学术论文的投稿形式——博客文章。
而且,截止日期就到11月16日。
ICLR 2025钦定AI参审,11000篇总投稿数暴增61%!
ICLR顶会每年举办一次,2025年将是第13届年会,于4月24日-28日将在新加坡举办。
ICLR 2025钦定AI参审,11000篇总投稿数暴增61%!
今年顶会,着实有些不同。

官方让AI来参与审稿了


鉴于投稿数那么多,ICLR 2025也是想要借AI洪荒之力解难了。
ICLR 2025钦定AI参审,11000篇总投稿数暴增61%!
不过,不是让AI完全审稿。
目的是为了,让AI帮助审稿人的评审结果,更具建设性、可操作性。
为此,ICLR使用了多个大模型设计出反馈系统,就是为了将化觉降到最低,提高反馈质量。而且,该系统已经在ICLR 2024评审意见上,进行了测试。
「评审反馈智能体」将就审稿中可能存在的三类问题,提供建议。
ICLR 2025钦定AI参审,11000篇总投稿数暴增61%!
ICLR 2025官方组委会通过汇编公众评论,并评估了以往ICLR审稿确定了这三类问题:
– 鼓励审稿人改写含糊的评论,让其对作者更具可操作性;
– 突出文章中可能已经回答了审稿人一些问题的部分;
– 在评审中,发现并处理不专业、不恰当的言论。
ICLR 2025钦定AI参审,11000篇总投稿数暴增61%!
如下,是由AI为以上三种类别标记的评论的示例,并给出一个示例反馈。
首先,第一种提升准确性。
以往几届,不论是哪个顶会,都会被作者们吐槽的一个问题是——审稿人太糊弄了。
一句话——这篇论文还应提供更多实验数据,直接给了低分。
而这次,审稿人这种模棱两可的评论,就要被AI「打回去」了。
AI会给审稿人提供一种建议:
如果能提出您认为必须包括的具体基线,将会很有帮助。您是否认为目前的比较缺少某些方法?能否详细说明原因?
ICLR 2025钦定AI参审,11000篇总投稿数暴增61%!
其次,内容明确。
当审稿人评论称,「在图4中,Transformer的效率实验没有结果,这是一个关键的限制因素」。
而论文中,可能包含了这个结果,只是审稿人没有注意到。
AI这时便会明确告诉他,图5回答了这个问题。
ICLR 2025钦定AI参审,11000篇总投稿数暴增61%!
最后,针对不恰当评论。
比如,审稿人会说,「作者完全不知自己想要做什么」。
AI会建议道,「我们感谢您的评论,但恳请您将评论重点放在论文的具体内容和方法上,而不是对作者发表个人意见」。
ICLR 2025钦定AI参审,11000篇总投稿数暴增61%!

AI不会取代审稿人


官方表示了,智能体系统不会取代任何人类审稿人,而且也不会撰写审稿评论,或直接对评论自动编辑。
相反,它将作为一个助手,提供可选的反馈。审稿人可以选择接纳,或者忽略。
与以往的ICLR顶会一样,每一份提交的论文皆由人类审稿人独立进行反馈,最终的「接收」决定,将由ACS、SAS和审稿人做出。
而且,AI将为随机选择的一部分初始评审提供反馈,以便进行比较并评估其影响。
ICLR 2025钦定AI参审,11000篇总投稿数暴增61%!
在评审意见对作者公开之前,审稿人将有机会更新他们的评审(如果愿意的话)。
AI一般在提交评审后的几小时内,向审稿人提供建议。对后续的审稿人回应将不再提供反馈,审稿人与反馈系统之间也不会有进一步的互动。
此外,反馈只对评审员和ICLR项目主席可见;不会与其他评审员、作者或区域主席(AC)分享,也不会影响录用决定。

审稿人太多了


据官方统计,今年有15249位审稿人,824位AC,以及71位高级AC。
ICLR 2025钦定AI参审,11000篇总投稿数暴增61%!
由于邀请了太多的审稿人,导致许多人尽管收到了电子邮件通知,却没有收到任何评审的论文。
ICLR 2025钦定AI参审,11000篇总投稿数暴增61%!
还有人指出,自己看到审稿人的自定义最大论文数(custom-max-papers)设置为0,本应无法分配到论文,但他们却被分配了一篇论文。这是怎么回事?
ICLR 2025钦定AI参审,11000篇总投稿数暴增61%!
目前,这些问题还待ICLR去解决。

博客文章,也能提交


延续之前的传统,今年ICLR顶会继续批准提交博客类型的文章。
提交的文章,需要符合以下要点:
– 回顾过去的工作并总结结果,提出新的直觉,或指出一些不足之处
– 对现有的机器学习概念或技术提出新颖的观点或解释
– 从新的角度讨论机器学习中的重要问题,如可复现性
– 分析机器学习和人工智能最新进展的社会影响
– 你尝试过但未成功的有趣研究想法
ICLR 2025钦定AI参审,11000篇总投稿数暴增61%!
去年被接收的博客文章,感兴趣的童鞋可作参考。
ICLR 2025钦定AI参审,11000篇总投稿数暴增61%!
参考资料:
https://x.com/Yoshua_Bengio/status/1846197032966385867
https://blog.iclr.cc/2024/10/09/iclr2025-assisting-reviewers/

ICLR 2025钦定AI参审,11000篇总投稿数暴增61%!

公众号后台回复“数据集”获取100+深度学习各方向资源整理

极市干货

技术专栏:多模态大模型超详细解读专栏搞懂Tranformer系列ICCV2023论文解读极市直播
极视角动态欢迎高校师生申报极视角2023年教育部产学合作协同育人项目新视野+智慧脑,「无人机+AI」成为道路智能巡检好帮手!
技术综述:四万字详解Neural ODE:用神经网络去刻画非离散的状态变化transformer的细节到底是怎么样的?Transformer 连环18问!

ICLR 2025钦定AI参审,11000篇总投稿数暴增61%!

点击阅读原文进入CV社区

收获更多技术干货

© 版权声明

相关文章

暂无评论

暂无评论...