MMBench

产品简介

MMBench是OpenCompass团队推出的权威多模态大模型评测基准，通过科学的mmbench评测方法论，为业界提供标准化的模型能力评估体系。平台依托高质量mmbench数据集，覆盖从基础感知到高阶推理的完整能力链条，帮助开发者精准定位模型性能。研究人员可通过 https://mmbench.opencompass.org.cn/leaderboard 获取最新评测排行。

核心功能

全方位能力诊断

mmbench评测框架构建了细粒度的能力维度体系，包括粗粒度感知、细粒度认知、视觉推理等多个层级。通过循环评估策略，有效消除随机猜测带来的误差，确保评分真实反映模型水平。

标准化数据集支撑

平台提供经过严格质量控制的mmbench数据集，题目涵盖日常生活、科学知识、文化艺术等多元场景。同时开放mmbench_dev_en开发集，便于研究者在标准环境下进行模型调试与性能验证。

视频理解专项评测（mmbench-video）

针对动态视觉内容，mmbench-video设计了一系列视频问答与推理任务，考察模型对时序关系、动作演变、动态场景理解的深度能力，填补了静态图像评测的空白。

GUI交互能力评测（mmbench-gui）

mmbench-gui专注于评估多模态模型在图形界面环境下的理解与操作能力，包括网页元素识别、按钮点击决策、跨页面导航等任务，为GUI智能体研发提供量化标准。

中文场景深度评测（mmbench-cn）

mmbench-cn针对中文语境定制，融入中国本土文化、中文语言习惯及特色视觉场景，准确衡量各类模型在中文多模态任务中的真实表现。

公开排行榜服务

访问 https://mmbench.opencompass.org.cn/leaderboard 即可查看各模型在mmbench、mmbench-cn、mmbench-video、mmbench-gui等子项上的详细得分，支持多模型横向对比与历史趋势追踪。

产品优势

评测体系科学严谨

相比传统基准测试，mmbench采用多层次标签分类与交叉验证机制，能够精准识别模型在不同能力象限的表现差异，为技术优化提供可操作的改进建议。

数据质量行业领先

所有mmbench数据集均经过多轮专家标注与自动化校验，确保题目表述无歧义、答案分布合理、难度梯度平滑，最大程度保障评测结果的客观公正。

紧跟技术前沿

评测体系持续扩展，先后推出mmbench-video、mmbench-gui等创新评测方向，及时响应多模态大模型从单图理解向视频分析、智能体交互演进的技术趋势。

双语并行覆盖

通过mmbench_dev_en与mmbench-cn的双语评测设计，既满足国际通用技术对比需求，又深入评估模型在中文本土场景中的适用性，兼顾全球化与本地化视角。

常见问题（FAQ）

Q1: MMBench的定位是什么？ A: MMBench是面向多模态大模型的综合性mmbench评测平台，通过标准化数据集与统一评估协议，为学术研究及工业应用提供可信的能力参照。

Q2: 如何提交模型参与mmbench评测？ A: 用户可使用OpenCompass评测框架运行模型推理，将预测结果提交至平台后，系统会自动计算在mmbench数据集各维度上的得分，并更新至 https://mmbench.opencompass.org.cn/leaderboard 。

Q3: mmbench_dev_en的作用是什么？ A: mmbench_dev_en是公开的开发验证集，供研究人员在模型训练阶段进行快速验证与错误分析；正式评测集保持封闭，以确保排行榜的公平性与防作弊。

Q4: mmbench-video评测哪些具体能力？ A: mmbench-video主要考察模型的时序理解、动作识别、视频问答与长程推理能力，视频素材覆盖真实场景的动态视觉信息。

Q5: mmbench-gui适合什么类型的模型测试？ A: mmbench-gui适用于具备视觉感知与决策执行能力的多模态智能体模型，特别是需要在网页、操作系统界面等图形化环境中完成任务的Agent系统。

Q6: mmbench-cn与国际版评测标准是否一致？ A: mmbench-cn在保持与基础mmbench相同的能力维度框架下，针对中文语言与文化场景进行内容定制，评分标准与国际版保持一致，确保横向可比性。

Q7: 普通开发者如何使用MMBench进行自测？ A: 开发者可下载公开的mmbench_dev_en或相关样本数据，在本地使用OpenCompass工具链完成自评；完整正式评测需通过官方提交通道参与。

快速开始

研究者与开发者可立即访问 https://mmbench.opencompass.org.cn/leaderboard 浏览完整评测结果，或前往OpenCompass官方仓库获取mmbench数据集与评测工具，开启您的模型评估之旅。