MMLU
MMLU（Massive Multitask Language Understanding）是广泛使用的英文大模型评测基准，包含57个学科的15908道题，从STEM到人文社科全面测试模型的知识和推理能力。
MMLU（Massive Multitask Language Understanding）是英文大模型评测中被引用最广泛的基准之一，由加州大学伯克利分校等研究者构建。它包含57个学科的15908道多项选择题，从STEM到人文、社科，全面测试模型的知识和推理能力。
几乎所有主流大模型在发布时都会公布MMLU分数，它几乎成了衡量模型"知识广度"的代名词。ChatGPT、Claude、Gemini等模型都以此作为能力宣传的重要指标。
核心功能
多任务语言理解：57个学科、15908道多项选择题，全面测试模型知识和推理。
学科覆盖：涵盖STEM（科学、技术、工程、数学）、人文、社会科学等领域。
标准答案评分：多项选择形式，结果标准化、可比较。
广泛引用：主流大模型发布时的核心能力指标之一。
使用教程
- 访问paperswithcode.com查看MMLU基准和SOTA排名。
- 了解各模型在MMLU上的得分。
- 查看不同学科的表现差异。
- 对比模型的综合知识能力。
优点
- 57学科覆盖广，测试全面。
- 国际通用，跨模型可比。
- 主流模型普遍公布成绩，数据充分。
- 结果标准化，可重复。
需要注意的地方
- 英文基准，主要反映英文知识能力。
- 单项选择形式，对生成、创造能力考察有限。
- 存在训练数据污染风险，高分未必等于真实能力。
适合谁用
研究者、大模型开发团队、模型选型决策者、关注模型知识能力的AI从业者。
定价
MMLU是公开基准，榜单和数据免费查看。
同类型产品对比
| 产品 | 价格/模式 | 核心特点 | 适合人群 |
|---|---|---|---|
| MMLU | 开源基准 | 57学科、国际通用 | 通用模型评测 |
| C-Eval | 开源基准 | 52学科、中文评测 | 中文模型评测 |
| SuperCLUE | 免费 | 中文多维度综合评测 | 中文模型选型 |
| CMMLU | 开源基准 | 中文文化知识 | 中文知识评测 |
常见问题
MMLU是什么
MMLU是英文大模型评测基准，包含57个学科的15908道多项选择题，全面测试模型知识和推理能力。
MMLU覆盖哪些学科
涵盖STEM、人文、社会科学等57个学科。
MMLU和C-Eval有什么区别
MMLU是英文基准、国际通用；C-Eval是中文基准、更贴合中文场景，两者评测语言和侧重不同。
为什么主流模型都公布MMLU分数
因为MMLU是衡量模型"知识广度"的公认指标，57学科覆盖广、结果可比，成了模型能力宣传的核心数据。
MMLU是免费的吗
是公开基准，榜单和数据免费查看。
