CoT提出者Jason Wei：大模型评估基准的「七宗罪」

今日应用

Midjourney中文站

Midjourney中文站官网，Midjourney AI让绘画如此简单，只需描述图片内容AI即可快速生成精美的图片，本站提供一站式Midjourney图片创作服务！

今日话题

CoT提出者Jason Wei：大模型评估基准的「七宗罪」

 

重点标签 Jason Wei、评估基准、LLM性能、思维链、AI评估

文章摘要

首先，Jason Wei列举了几种成功的评估基准，如GLUE/SuperGLUE、MMLU、GSM8K、MATH和HumanEval，并指出成功的评估基准通常与突破性论文相关联，并在社区中获得信任。他还总结了评估基准失败的常见原因，包括样本数量少、评估基准太复杂、评估工具命名方式不完美等。例如，HumanEval虽然名为人类评估，但实际上并未用到人类进行评估。

为了使评估工具得到广泛使用，Jason Wei认为需要帮助研究者使用它，从而得到推广。他还提到了一些针对特定领域的小众评估工具，认为这些评估可能不会引起领域之外的关注。关于测试集污染问题，他也给出了一些解决方案，如对测试集进行“隐藏”或评估公开测试集和私有测试集的差异。

Jason Wei强调，评估的主题决定了有多少人会关心这个评估。特定领域的高质量评估，如法律、医疗等，应根据该领域专家所重视的内容来定制。他还提到，社区应更多地投资于评估，因为好的评估工具是AI研究人员对模型的客观评价指标，并对领域产生重大影响。

最后，Jason Wei指出，评估很大程度上表明了研究者的身份和兴趣。例如，一个充满博士的研究室可能更关注语言模型在数学、编码和物理上的推理能力，而面向用户的评估则可能被软件或产品背景的工程师视为黄金标准。尽管他两者都关心，但个人更倾向于智能，因为相信智能是AI与人类交互的根本驱动力。

参考链接：[Jason Wei的博客](https://x.com/_jasonwei/status/1794093872651387004_)

文章来源

原文地址: 点我阅读全文
原文作者: 机器之心