C-Eval
C-Eval是中文大模型综合评测基准,包含13948道多项选择题,覆盖52个学科和4个难度级别,从STEM、人文、社会科学到其他领域全面评估中文大模型的综合能力。
C-Eval是面向中文大模型的多学科综合评测基准,由清华大学等机构的研究者构建。它包含13948道多项选择题,覆盖52个学科,是目前中文大模型评测中非常有影响力的基准之一。
和很多只测通用对话的评测不同,C-Eval的题目像一场综合考试,横跨STEM、人文、社会科学等多个领域,能更全面地反映模型在中文环境下的知识储备和推理能力。
核心功能
中文综合评测:13948道多项选择题,覆盖52个学科,评估中文大模型综合能力。
多学科覆盖:涵盖STEM(科学、技术、工程、数学)、人文、社会科学、其他等领域。
4个难度级别:题目分为4个难度级别,考察不同层次的认知能力。
评测榜单:提供模型排名,直观对比主流中文大模型的综合表现。
标准化答案:采用多项选择形式,结果可重复、可比较。
使用教程
- 访问cevalbenchmark.com查看C-Eval评测说明。
- 在榜单页查看主流模型的排名和分数。
- 了解各学科、难度级别的具体表现。
- 对比不同模型的中文综合能力。
优点
- 题目量大(13948道),覆盖52个学科,评估全面。
- 中文场景,贴合国内模型评测需求。
- 4个难度级别,层次分明。
- 多项选择形式,结果标准化、可重复。
- 是中文大模型评测的重要参考基准。
需要注意的地方
- 单项选择形式主要测知识和推理,对生成、创造能力考察有限。
- 榜单成绩依赖测试时的模型版本,会随模型迭代变化。
- 评测不能替代业务场景的实际测试。
适合谁用
需要选型中文大模型的开发者和企业、研究大模型能力的研究人员、关注模型进步的AI爱好者、学生和从业者。
定价
C-Eval是公开的评测基准,评测结果和榜单免费公开。
同类型产品对比
| 产品 | 价格/模式 | 核心特点 | 适合人群 |
|---|---|---|---|
| C-Eval | 开源基准 | 52学科、13948题中文评测 | 中文模型选型 |
| SuperCLUE | 免费 | 中文综合评测、多维度 | 中文模型对比 |
| CMMLU | 开源基准 | 中文文化知识、67学科 | 中文知识评测 |
| MMLU | 开源基准 | 多任务语言理解、57学科 | 国际通用 |
常见问题
C-Eval是什么
C-Eval是中文大模型综合评测基准,包含13948道多项选择题,覆盖52个学科,评估中文大模型综合能力。
C-Eval覆盖哪些学科
覆盖STEM、人文、社会科学等领域共52个学科,题目分4个难度级别。
C-Eval和MMLU有什么区别
C-Eval是中文评测基准,更贴合中文模型和场景;MMLU是英文多任务语言理解基准,国际通用,两者侧重点不同。
C-Eval的评测结果怎么看
在官网榜单可查看主流模型排名和各学科、难度级别的分数,用于对比模型中文综合能力。
C-Eval是谁构建的
由清华大学等机构的研究者构建,是中文大模型评测的重要基准之一。
引用来源
- C-Eval官网:https://cevalbenchmark.com/static/leaderboard_zh.html
- C-Eval介绍:https://kcool.cn/ceval





