Chatbot Arena

核心功能

匿名对战：让两个大模型匿名回答同一问题，用户盲选更好的答案。

众包投票：依靠大量真实用户的投票积累评测数据。

Elo评分：采用Elo算法生成动态排行榜。

真实用户视角：反映真实使用体验，而非固定考题分数。

多模型覆盖：涵盖主流开源和闭源大模型。

使用教程

1. 访问chat.lmsys.org进入Chatbot Arena。
2. 参与匿名对战，选择更好的回答。
3. 查看Elo排行榜，了解模型排名变化。
4. 关注模型在不同类别的表现。

优点

• 反映真实用户使用体验。
• 匿名对战避免品牌偏见。
• Elo评分动态、直观。
• 社区参与广泛，数据量大。
• 常被研究机构引用，权威性高。

需要注意的地方

• 众包结果受用户偏好和投票分布影响。
• 排行榜随投票持续变化，是动态值。
• 覆盖场景偏通用对话，专业领域表现需单独评估。

适合谁用

关注大模型真实体验的用户、研究者、开发者、模型选型决策者、AI爱好者。

定价

Chatbot Arena免费参与和查看排行榜。

同类型产品对比

常见问题

Chatbot Arena是什么

Chatbot Arena是LMSYS推出的众包大模型评测平台，通过匿名对战投票和Elo评分生成模型排行榜。

Chatbot Arena怎么评测模型

让两个大模型匿名回答同一问题，用户盲选更好的答案，再用Elo算法统计排名，反映真实用户使用体验。

Chatbot Arena是免费的吗

免费参与和查看排行榜。

Chatbot Arena和MMLU有什么区别

Chatbot Arena靠真实用户投票反映体验，MMLU是固定题库的知识能力测试，两者评测维度不同。

Chatbot Arena的Elo评分是什么

一种动态评分算法（源于国际象棋和电竞），根据对战结果持续调整模型分数，生成排名。