MMRel：多模态大模型时代的评测物体间关系理解新基准

针对目前多模态大模型（MLLMs）对于物体间关系理解的不足，我们贡献了一个大规模、高质量、多领域的专注于物体间关系理解的数据集MMRel。相比于其他数据集，MMRel具有以下优点：

（1）包含有超过22K条问答对，这些问题来自于三个不同领域的图片并考虑了三种物体间关系，确保了数据集的大规模以及多样性；

（2）所有的标注都经过了人工检查，确保了数据集的高质量和准确性；

（3）包含有一个高难度子集，专注于少见的或反常的物体间关系，这个子集可以从更具挑战性的角度评估模型的关系幻觉。

得益于上述优点，MMRel是一个理想的评估多模态大模型对于物体间关系理解的数据集。MMRel也可以用来微调模型，来提高模型对于物体间关系理解甚至于其他任务的能力。

详细的讨论分析详见论文：https://arxiv.org/pdf/2406.09121

数据集已开源：https://niejiahao1998.github.io/MMRel/

作者单位：南洋理工大学 阿里巴巴达摩院  西安交通大学

尽管已经创建了几个关于物体间关系的数据集，但他们并不是为了评估多模态大模型（MLLMs）对关系的理解能力而设计的。具体来说，大多数现有的基准测试在数据规模、关系类别和数据多样性方面存在明显的局限性。我们通过创建一个全面的物体间关系基准测试来解决这个问题，目的是衡量和提高 MLLMs 在各种多模态任务中对关系的理解能力。

我们引入了一个半自动数据收集流程（SemiDC），它能够对大规模现有图像进行标注，并生成大量高质量的合成图像。如论文中所讨论的，重新标注现有图像是必要的，因为它们原始的标签与多模态大模型（MLLMs）不兼容。为此，我们设计了 SemiDC，通过 GPT-4V 为大规模视觉关系（VG）基准生成高质量的关系注释。这个过程分为三个阶段：（一）预处理：我们选择性地排除那些对 GPT-4V 生成准确注释构成挑战的复杂场景图像；（二）通过 GPT-4V 重新标注：我们采用上下文学习范式，使用 GPT-4V 生成关系注释；（三）人工验证：我们手动评估并纠正由 GPT-4V 生成的注释，以确保收集到的物体间关系数据的质量。

表格显示了 MMRel 的统计数据。具体来说，MMRel 包括大约 22,500 个问题-答案对（15K 是 Yes/No 类型，7.5K 是开放式问题），分布在 7 个子集中，涵盖了 3 个领域和 3 类关系。得益于 GPT-4V 的开放词汇能力，MMRel 保证了对象和行为关系的多样性。

我们使用 MMRel 中的全部 15K 个 Yes/No 问题-答案对来评估多模态大模型（MLLMs）在处理具有丰富物体间关系的多模态数据时的表现。正如表格所示，所有九种 MLLMs 在处理关系理解时都遇到了各种问题。

正如表格所示，通过使用 MMRel 进行微调显著且一致地提高了所有数据领域和关系类别中的关系理解能力。此外，微调也改善了对抗子集的关系理解。

公众号后台回复“数据集”获取100+深度学习各方向资源整理