专栏名称: PaperWeekly

PaperWeekly是一个分享知识和交流学问的学术组织，关注的领域是自然语言处理的各个方向。我们热爱知识，分享知识，希望通过我们大家的努力为自然语言处理的发展做出一点点贡献。我们每周会分享一期特定话题的论文笔记和本周值得读的相关论文。

微软亚洲研究院发布MMLU-CF：无污染的大语言模型理解基准来了！

PaperWeekly · 公众号 · 科研 · 2024-12-26 18:03

正文

近年来，随着大语言模型（LLM）的不断进步，如何准确评估其能力已经成为研究的热点问题。诸如大规模多任务语言理解基准 MMLU（Massive Multitask Language Understanding），在评估大语言模型中起到重要作用，然而，由于开放源代码和训练数据的多样性，现有基准测试难免存在数据污染问题，影响评估结果的可靠性。
为了提供更为准确、公平的评估，微软亚洲研究院推出了 MMLU-CF，它是基于公开数据源，经过去污染设计的大语言模型理解基准，并已在 Huggingface 上开放。

MMLU-CF 介绍

MMLU-CF 是一个“无污染”的、更具挑战性的多项选择题基准数据集。数据集包含 20,000 道题目，分为 10,000 道验证集题目和 10,000 道测试集题目，其中验证集开源，测试集闭源。涵盖健康、数学、物理、商业、化学、哲学、法律、工程等 14 个学科领域。

论文链接：

https://arxiv.org/pdf/2412.15194

Github链接：

https://github.com/microsoft/MMLU-CF

HF Datasets链接：

https://huggingface.co/datasets/microsoft/MMLU-CF

MMLU-CF 的贡献

消除数据污染：传统基准测试可能存在数据污染，影响评估的公正性。MMLU-CF通过引入三条去污染规则并扩展数据源，确保测试结果更可靠。

防止恶意数据泄露：我们将数据集分为验证集和测试集，确保测试集保持闭源，避免数据泄漏引发的不公正结果。同时，验证集开源以促进透明度，便于独立验证。

对比结果：评估结果显示，GPT-4o 在 MMLU-CF 测试集上的 5-shot 得分为 73.4%，0-shot 得分为 71.9%，显著低于其在 MMLU 上取得的 88% 得分，证明了 MMLU-CF 基准的严格性。

图1. 主流大模型在 MMLU-CF 的测试集的 5-shot 得分表现

MMLU-CF vs MMLU 与 MMLU-Pro

MMLU 与 MMLU-Pro：这些基准测试主要关注任务的广度、推理能力和难度，但未考虑数据污染问题。

MMLU-CF：我们在数据收集时应用了去污染规则，确保避免数据泄露，同时将测试集保持闭源，防止恶意泄露。

以下是几款主流模型在 MMLU 与 MMLU-CF 数据集上的表现：

图2. 主流大模型在 MMLU-CF 和 MMLU 上的得分表现

在 API 模型中，GPT-4o 以 73.4% 的测试准确率占领榜首。

在大型模型（>50B 参数）中，Qwen2.5-72B-instruct 在 5-shot 测试中得分 71.6%，接近 GPT-4 级别的表现；Llama-3.3-70B-instruct 也取得了不错的成绩，得分为 68.8%。

在中型模型中，Qwen2.5-32B-instruct 表现强劲，得分 69.7%。Phi-4-14B 则取得了 67.8% 的成绩，超过了更大模型如 Qwen2-72B（63.7%）和 Mixtral-8x22B（62.8%），体现了其高效的架构。

在小型模型中，Qwen2.5-7B-instruct 以 61.3% 的成绩超越同类其他模型，如 Glm-4-9B-chat（57.8%）和 Llama-3-8B-instruct（57.3%）。在迷你模型中，Phi-3.5/3-mini-instruct 以 57.9% 的成绩领先，Qwen2.5-3B-instruct 得分 55.9%，依然超过了同类其他模型。