C

C-Eval

C-Eval是中文大模型综合评测基准,包含13948道多项选择题,覆盖52个学科和4个难度级别,从STEM、人文、社会科学到其他领域全面评估中文大模型的综合能力。

C-Eval是面向中文大模型的多学科综合评测基准,由清华大学等机构的研究者构建。它包含13948道多项选择题,覆盖52个学科,是目前中文大模型评测中非常有影响力的基准之一。

和很多只测通用对话的评测不同,C-Eval的题目像一场综合考试,横跨STEM、人文、社会科学等多个领域,能更全面地反映模型在中文环境下的知识储备和推理能力。

核心功能

中文综合评测:13948道多项选择题,覆盖52个学科,评估中文大模型综合能力。

多学科覆盖:涵盖STEM(科学、技术、工程、数学)、人文、社会科学、其他等领域。

4个难度级别:题目分为4个难度级别,考察不同层次的认知能力。

评测榜单:提供模型排名,直观对比主流中文大模型的综合表现。

标准化答案:采用多项选择形式,结果可重复、可比较。

使用教程

  1. 访问cevalbenchmark.com查看C-Eval评测说明。
  2. 在榜单页查看主流模型的排名和分数。
  3. 了解各学科、难度级别的具体表现。
  4. 对比不同模型的中文综合能力。

优点

  • 题目量大(13948道),覆盖52个学科,评估全面。
  • 中文场景,贴合国内模型评测需求。
  • 4个难度级别,层次分明。
  • 多项选择形式,结果标准化、可重复。
  • 是中文大模型评测的重要参考基准。

需要注意的地方

  • 单项选择形式主要测知识和推理,对生成、创造能力考察有限。
  • 榜单成绩依赖测试时的模型版本,会随模型迭代变化。
  • 评测不能替代业务场景的实际测试。

适合谁用

需要选型中文大模型的开发者和企业、研究大模型能力的研究人员、关注模型进步的AI爱好者、学生和从业者。

定价

C-Eval是公开的评测基准,评测结果和榜单免费公开。

同类型产品对比

产品价格/模式核心特点适合人群
C-Eval开源基准52学科、13948题中文评测中文模型选型
SuperCLUE免费中文综合评测、多维度中文模型对比
CMMLU开源基准中文文化知识、67学科中文知识评测
MMLU开源基准多任务语言理解、57学科国际通用

常见问题

C-Eval是什么

C-Eval是中文大模型综合评测基准,包含13948道多项选择题,覆盖52个学科,评估中文大模型综合能力。

C-Eval覆盖哪些学科

覆盖STEM、人文、社会科学等领域共52个学科,题目分4个难度级别。

C-Eval和MMLU有什么区别

C-Eval是中文评测基准,更贴合中文模型和场景;MMLU是英文多任务语言理解基准,国际通用,两者侧重点不同。

C-Eval的评测结果怎么看

在官网榜单可查看主流模型排名和各学科、难度级别的分数,用于对比模型中文综合能力。

C-Eval是谁构建的

由清华大学等机构的研究者构建,是中文大模型评测的重要基准之一。

引用来源

相关产品