近日，豆包大模型团队开源 SuperGPQA，一个领域全面且具备高区分度的知识推理基准测试。
该数据集构建了覆盖 285 个研究生级学科、包含 26529 道专业问题的评估体系，不仅涵盖主流学科，更将轻工业、农业、服务科学等长尾学科纳入其中，展现出全面学科的覆盖广度，填补了长尾知识评估领域的空白。
如今，SuperGPQA 已被用于揭示开源模型与闭源方案之间的显著性能差距，为 AI 发展提供了关键评估工具和跨学科分析框架。
随着大语言模型在通用学科中的表现逐渐接近人类水平，研究焦点也随之转向其在真实世界专业领域的应用。然而涉及人类研究领域的长尾学科时，由于有效评估的缺乏，LLM 的能力边界依然模糊不清。
为了全面衡量 LLM 的泛化能力与推理上限，字节跳动豆包大模型团队联合 M-A-P 开源社区推出
基准测试
SuperGPQA，这一基准不仅覆盖了二百余个研究生级学科，还确保 42.33% 的题目需要数学计算或形式推理，构建了兼具广泛学科覆盖与复杂问题设计的评估新范式。
实验结果显示，DeepSeek-R1 在 SuperGPQA 上的准确率为 61.82%，在不同知识领域中，当前大语言模型性能仍有很大提升空间，这也进一步凸显 SuperGPQA 在评估模型真实能力方面的重要性和必要性。
⽬前论⽂成果和数据代码仓库均已对外公开，欢迎开源使用！
SuperGPQA: Scaling
LLM
Evaluation across 285 Graduate Disciplines
论文链接：
https://arxiv.org/pdf/2502.14739
数据链接：
https://huggingface.co/datasets/m-a-p/SuperGPQA
代码链接：
https://github.com/SuperGPQA/SuperGPQA
1. 现有评测基准学科占比失衡，长尾学科覆盖不足 5%
现有大语言模型评估体系主要面临两大核心困境：
学科覆盖的严重失衡与评测基准的挑战性失效。
以 MMLU 和 GPQA 为代表的传统基准尽管在数学、物理等主流学科中建立了标准化测试框架，但其覆盖的学科数量通常不足 50 个，仅占人类知识体系的冰山一角。
据统计，现有基准对轻工业、农业、服务科学等长尾学科的覆盖率甚至不足 5%。
多基准多维度对比雷达图
更为严峻的是，现有评测体系失去区分度，无法有效衡量模型在真实复杂场景中的推理上限。比如，主流模
型如 GPT-4o、DeepSeek-R1 在传统基准上准确率已突破 90%。
这主要源于传统基准构建范式的单一化数据来源与粗放化质量筛选。比如，不加辨别地依赖教科书例题或在线题库（例如 GPQA 中 42% 的问题来自维基百科），导致题目缺乏专业深度，且易被模型通过记忆机制 “破解”。实验发现，GPT-4o 对在线练习网站答案的重复率高达 67.3%，暗示其性能提升可能源于题目数据泄露而非真实推理能力。
此外，众包标注的专业水平参差和主观性问题评估难度进一步加剧了基准的不可靠性——早期尝试中，仅 37% 的众包标注问题通过专家审核，导致超过 60% 的标注资源浪费。
这使得我们无法准确评估模型的泛化能力和推理能力，严重阻碍了模型性能的进一步提升。
2. 首次全覆盖 285 个学科，探索 LLMs 真实能力边界
为突破以上限制，豆包大模型团队和 M-A-P 历时半年推出 SuperGPQA，一项全面的基准测试，实现
285 个研究生级学科全覆盖，
旨在探索最先进的大语言模型潜力边界。
-
全面学科覆盖
：
SuperGPQA 覆盖 13 个门类、72 个一级学科和 285 个二级学科，共 26,529 个问题，远超现有的 GPQA（448 题）和 MMLU-Pro（12,032 题），平均每题
将会
提供 9.67 个选项，挑战性显著高于传统的 4 选项格式。同时，它突破传统评测集仅侧重 STEM 学科的局限，兼顾科学、工程、医学等 STEM 学科与哲学、文学、历史等非 STEM 学科问题，且具有较高区分度。
-
多样的难度分布：
问题难度在各学科间均衡分布，尤其在工程和科学领域，难题比例较高。42.33% 的问题需要数学计算或严谨推理，确保模型在高难度任务中的表现。
-
丰富的
语义
结构：
通过 t-SNE 可视化，评测集 SuperGPQA 展示了跨学科的聚类模式，工程和科学类问题在语义上高度相似，人文学科则保持独特的知识中心，体现了领域特定的语言特色。
-
一致的题目设计：
平均问题长度为 58.42 字，选项长度一致，增强了迷惑性和挑战性，确保评测的公平性与可靠性。
3. 专家-LLM 协同，提高题库质量
SuperGPQA 的核心架构由三个关键阶段组成：源筛选、转录和质量检验。
该过程涉及 80 多名专家标注员
、交互式专家-LLM 协作系统，为未来类似规模的研究项目提供了方法指导。
为确保题目的高标准质量，团队摒弃了众包注释员收集资源的方式，转而由专家注释员负责从可信来源
（如教科书和权威练习网站）
筛选和收集原始问题，并要求提供来源截图。这一策略避免了早期大量无效问题的产生，提升了质量检查的效率和准确性。
在转录阶段，专家注释员对收集的原始问题进行语言规范化和格式转换，确保所有问题具备统一的学术语言和标准的多项选择题格式。团队发现，即使是最先进的语言模型（LLMs）在生成干扰项时也存在漏洞，因此需要专家统一重写，以提高干扰项的准确性和有效性，确保题目的挑战性和区分度。
