论文链接：

https://arxiv.org/abs/2408.13257

项目主页：

https://mme-realworld.github.io/

代码链接：

https://github.com/yfzhang114/MME-RealWorld

01 主要发现

1. 在真实世界任务上，Qwen2-vl 和 InternVL2 在中文感知和推理任务上表现明显好于闭源模型比如 Claude 3.5，国内用户可以首选这两个。
2. 英文版二者的感知能力 Qwen2-vl > InternVL2 > 其他，但是推理还是闭源模型 Claude 3.5 更胜一筹。
3. 闭源模型比如 Gpt-4o 对于高分图像的能力被高估了，这方面 GPT-4o 基本上都排不到前三，Gemini-Pro 则更差。
4. 所有 MLLMs 在自动驾驶，遥感数据，视频监控等复杂场景下的表现都非常差，在有些 domain上Qwen2-vl 的 Acc 也只有三十多（五分类），下游任务应用任重而道远。

02 真实场景部分任务展示

03 为什么需要MME-RealWorld/现有benchmark的不足

近年来，多模态大语言模型（MLLMs）得到了显著的发展。这些模型的主要设计目标是开发能够通过整合多种模态感官数据全面感知人类查询和环境情况的通用智能体。因此，出现了大量全面的评估基准，用于严格评估这些模型的能力。然而，也存在一些常见问题：

1. 数据规模：许多现有的基准数据集包含少于 10,000 个问答对，例如 MME、MMbench、MMStar、MM-Vet、TorchStone 和 BLINK。有限的问答数量可能导致较大的评估波动。

2. 注释质量：虽然一些基准（如 MMT-Bench 和 SEED-Bench）规模相对较大，但其注释是由 LLMs 或 MLLMs 生成的。由于这些模型的性能有限，这种注释过程不可避免地会引入噪声，从而影响注释的质量。例如，在我们的基准中，表现最好的模型 InternVL-2 的准确率仅为 50%，依赖这些模型会不可避免地降低注释的质量。

3. 任务难度：目前，一些基准的最高性能已经达到了 80%-90% 的准确率，且先进 MLLMs 之间的性能差距较小。这使得验证先进模型的优势或改进变得具有挑战性，也难以区分哪个模型明显更优。

鉴于这些问题，作者提出了一个新的基准测试，名为 MME-RealWorld 。作者首先关注了一系列具有明确动机的数据集家族，考虑了来自自动驾驶、遥感、视频监控、报纸、街景和金融图表等领域的图像。这些场景即使对人类来说也极具挑战性，作者希望 MLLMs（多模态大模型）能够真正提供帮助。

04 MME-RealWorld的数据来源与主要特征

基于这些主题，作者从超过 30 万个公共和互联网来源中收集了总计 13,366 张高分辨率图像，这些图像的平均分辨率为 2,000×1,500，包含丰富的图像细节。作者邀请了 25 位专业标注员和 7 位 MLLMs 领域的专家参与数据标注和质量检查，同时确保所有问题对 MLLMs 都具有挑战性。值得注意的是，作者指出，大多数问题甚至对人类来说也很难，需要多名标注员来回答并复查结果。

正如所示， MME-RealWorld 最终包含 29,429 个注释，涵盖 43 个子类任务，每个任务至少有 100 个问题。作者在这一基准测试中对 28 个先进的 MLLMs 进行了评估，并提供了详细的分析。

作者总结了 MME-RealWorld 相对于现有基准的主要优势，如下所示：

数据规模 ：通过 32 名志愿者的努力，作者手动标注了 29,429 个专注于现实世界场景的 QA 对，使其成为迄今为止最大的完全由人类标注的基准测试。

数据质量 ：

• 分辨率 ：作者指出，许多图像细节（如体育赛事中的记分牌）包含关键信息。只有通过高分辨率图像才能正确解读这些细节，而这对于向人类提供有意义的帮助至关重要。据作者所知， MME-RealWorld 拥有现有基准中最高的平均图像分辨率。

• 标注 ：所有标注均由专业团队手工完成，并进行交叉检查以确保数据质量。

任务难度与现实世界应用 ：上图（b）显示了不同 MLLMs 的性能结果，表明即使是最先进的模型，其准确率也未超过 60%。此外，作者在下图中展示，许多现实世界的任务显著比传统基准测试中的任务更难。例如，在视频监控中，模型需要计算 133 辆车的存在；在遥感中，模型必须识别并计算分辨率超过 5000×5000 的地图上的小物体。

MME-RealWorld-CN ：作者指出，现有的中文基准通常从英文版本翻译而来，这有两个限制：

• 问题与图像不匹配 ：图像可能与英文场景相关，但与中文问题没有直观的联系。
• 翻译不匹配 ：机器翻译并不总是足够精确和完美。为此，作者收集了更多关注中国场景的图像，并邀请中国志愿者进行标注，最终获得了 5,917 个 QA 对。

05 模型效果与分析

上表展示了不同模型在 5 个领域中的感知能力表现。总体而言，Qwen2-VL 与 InternVL-2 表现出最强的感知能力，优于其他闭源模型。然而，各个任务的表现存在差异，作者总结了以下几点关键观察：

1. OCR 任务表现 ：GPT-4o 在实际 OCR 任务中表现最佳，达到了 77% 的准确率，但在更具挑战性的任务中，其表现显著下降，落后于其他顶尖模型。这一趋势也在其他闭源模型中出现，如 Gemini-1.5-Pro 和 GPT-4o-mini，它们在 OCR 任务中表现良好，但在其他实际任务中表现欠佳。作者提出了三种可能的原因：

• 闭源模型在上传本地图像时通常对最大图像尺寸和分辨率有限制。例如，Claude 3.5 Sonnet 的最大分辨率为 8K，最大图像质量为 5MB，而 GPT-4o 和 Gemini-pro 允许上传最大 20MB 的图像。这限制了某些高质量图像的输入，因为需要压缩图像才能上传。

• 闭源模型往往更为保守。作者观察到，闭源模型输出 “E”（表示图像中不存在相关物体）的比例较高，这表明这些模型可能采用保守的应答策略，以避免幻觉或提供更安全的答案。

• 闭源模型有时拒绝回答某些问题。由于不同的输入/输出过滤策略，一些样本被认为涉及隐私或有害内容，因此不予回答。

2. 高分辨率输入的优势 ：允许更高分辨率输入的模型（如 Mini-Gemini-HD 和 SliME）相对于直接使用视觉编码器的模型（如 ShareGPT4V 和 LLaVA1.5）表现出显著优势。在相同的模型大小下，这些模型在不同子任务中的表现均有所提升。这强调了高分辨率图像处理对于解决复杂现实任务的重要性。

3. 不同领域的趋势 ：遥感任务涉及处理极大图像，要求对图像细节有更深入的理解。在这些任务中，专注于高分辨率输入的模型（如 Cambrian-1、Mini-Gemini-HD 和 SliME）表现优于其他模型。此外，在大量图表数据上进行训练的模型在处理复杂图表时表现出更好的感知能力。例如，SliME 和 LLaVA1.5 的训练集中包含的图表数据有限且相对简单，因此在这一类别中的表现不及更近期的模型。

4. 推理能力： 下表展示了推理任务的实验结果。在推理能力方面，Claude 3.5 Sonnet 在大多数领域中表现最为出色，尤其是在图表相关任务中，比排名第二的 GPT-4o 高出 16.4%。闭源模型 GPT-4o 表现良好，略微落后于排名第二的 InternVL-2，但在多个领域中甚至优于 InternVL-2。

大多数开源模型表现不佳，传统基准方法（如 LLaVA1.5 和 Qwen-VL-Chat）的结果接近随机猜测。此外，推理任务比感知任务更具挑战性。即使是排名最高的模型，其平均准确率也未能超过 45%，类别准确率也未超过 50%。这表明当前模型在达到人类级别的推理能力方面仍有很大差距。

06 目前MLLM的缺陷以及值得注意的点

现有模型在图像细节感知方面的不足 : 多数模型选择答案 “E” 的频率远高于实际数据中的比例，这表明这些模型的视觉感知模块未能准确识别图像中的对象。

MLLMs 在理解动态信息方面的局限性 : 在自动驾驶和监控任务中，MLLMs 在理解和推理动态信息方面表现出明显的不足，显示出与人类能力之间的巨大差距。

计算效率 : 处理高分辨率图像时，各模型的计算效率差异显著。某些模型在处理超过 1024×1024 分辨率的图像时计算需求非常高，如 Mini-Gemini-HD，计算成本比 LLaVA1.5 高约 5 倍。这也显示了现有方法在处理高分辨率图像时的固有局限性。

错误选项分析 : 研究发现，不同的 MLLM 在处理不确定问题时的应对策略有所不同。较大的模型通常采取更保守的策略，倾向于选择更安全的 “E” 选项，而较小的模型往往倾向于选择第一个选项 “A”。值得注意的是，InternVL-2 的错误选择分布非常均匀，这可能解释了其在评估中的优异表现。