CMMLU

核心功能

中文大规模多任务理解：67个学科的中文知识测试，评估中文大模型能力。

中华文化知识侧重：特别覆盖中国历史、地理、文学等文化相关知识。

学科覆盖广：从理工科到人文社科，全面测试中文知识。

开源基准：公开数据集，结果可复现、可比较。

使用教程

1. 访问github.com/haonan-li/CMMLU查看基准。
2. 了解数据集和评测方法。
3. 查看模型在CMMLU上的表现。
4. 关注模型在中华文化知识维度的能力。

优点

• 专门测试中文和文化语境理解，有针对性。
• 67学科覆盖广。
• 开源，可复现、可比较。
• 对中文模型评测有重要补充价值。

需要注意的地方

• 主要测知识和推理，对生成、对话能力考察有限。
• 侧重知识题，不能完全代表模型整体能力。

适合谁用

关注中文大模型能力的研究者、开发团队、模型选型决策者，以及重视中文文化理解的AI从业者。

定价

CMMLU是开源基准，数据和榜单公开。

同类型产品对比

常见问题

CMMLU是什么

CMMLU是中文大规模多任务语言理解基准，包含67个学科的中文知识题，特别侧重中华文化相关知识。

CMMLU和C-Eval有什么区别

两者都是中文知识评测基准，CMMLU特别强调中华文化知识，C-Eval覆盖52个学科更侧重综合学科，具体题库和侧重有差异。

CMMLU和MMLU什么关系

CMMLU是中文版的类似基准，借鉴了MMLU的多任务思路，但针对中文和文化语境重新设计。

CMMLU能测试模型的什么能力

主要测试模型在中文和文化语境下的知识掌握和推理能力，特别关注中华文化相关知识的理解。