Valumigo

Epoch AI · 修复实际代码缺陷(SWE-bench Verified)

定期获取并展示公开的基准测试资料(LMArena 用户投票排名、Epoch AI 测试分数、OpenRouter 使用量排名)。每个榜单均标注数据发布日期和获取日期。这些分数并非本站自行评定。

LMArena 分数来自用户并排查看两个模型的回答,再投票选出更好的一方(Elo 方式)。如果分数差异在置信区间内,可视为水平基本相近。

如何解读此排行榜

衡量什么: SWE-bench Verified 评估解决真实 Python 开源仓库中 GitHub issue 的能力。原始数据集包含 12 个仓库的 500 个 issue,Epoch 自行评估时使用在运行环境中验证过的 484 个。

如何解读分数: 通过指定的问题解决验证测试和现有功能保留测试的 issue 比例(%)。可用于参考模型解决真实仓库 issue 的能力。

注意事项: 分数不仅取决于模型,也取决于工具和智能体设置。评估以 Python 仓库为主,请同时查看评估的 issue 数量及运行条件。

本次排名的解读要点

  • 最高分为 Claude Opus 4.7 的 83.5%。
  • 第 1 名与第 5 名的差距为 4.8%p。
  • 已有 30 个模型公开了此测试的结果。

修复实际代码缺陷(SWE-bench Verified) Epoch AI

数据汇总了 Epoch AI 实测以及开发商或评测机构公布的分数。各项测试评估的模型不同,部分测试尚未包含最新模型。同一模型在不同推理强度下的结果中,仅展示最高分。 · 获取日期:2026-10-04

AnthropicClaude Opus 4.7
83.5%
OGPT-5.5
80.6%
GoogleGemini 3.5 Flash
79.3%
AnthropicClaude Opus 4.6
78.7%
ZGLM-5.2
78.7%
DeepSeekDeepSeek v4 Pro
77.6%
AlibabaQwen3.7 Max
77.3%
OGPT-5.4
76.9%
AlibabaQwen 3.6 Max
76.7%
Moonshot AIKimi K2.6
76.7%
AnthropicClaude Opus 4.5
76.7%
GoogleGemini 3.1 Pro Preview
75.6%
GoogleGemini 3 Flash Preview
75.4%
AnthropicClaude Sonnet 4.6
75.2%
OGPT-5.3 Codex
74.8%
ZGLM-5.1
74.2%
Moonshot AIKimi K2.5
73.8%
OGPT-5.2
73.8%
OGPT-5
73.6%
Anthropicclaude-opus-4-1-20250805
73.3%

柱状条表示正确率(%),从 0% 起绘制。

查看表格(前 30 名)
排名模型开发方发布日期分数
1#1AnthropicClaude Opus 4.7(max)Anthropic2026-04-1683.5%
2#2OGPT-5.5(xhigh)OpenAI2026-04-2380.6%
3#3GoogleGemini 3.5 FlashGoogle2026-05-1979.3%
4#4AnthropicClaude Opus 4.6(no thinking)Anthropic2026-02-0578.7%
5#5ZGLM-5.2Z.ai2026-06-1678.7%
6#6DeepSeekDeepSeek v4 Pro(max)DeepSeek2026-04-2477.6%
7#7AlibabaQwen3.7 MaxAlibaba2026-05-1977.3%
8#8OGPT-5.4(high)OpenAI2026-03-0576.9%
9#9AlibabaQwen 3.6 Max(Preview)Alibaba2026-04-2076.7%
10#10Moonshot AIKimi K2.6Moonshot AI2026-04-2076.7%
11#11AnthropicClaude Opus 4.5(no thinking)Anthropic2025-11-2476.7%
12#12GoogleGemini 3.1 Pro PreviewGoogle2026-02-1975.6%
13#13GoogleGemini 3 Flash PreviewGoogle2025-12-1775.4%
14#14AnthropicClaude Sonnet 4.6(no thinking)Anthropic2026-02-1775.2%
15#15OGPT-5.3 Codex(high)OpenAI2026-02-0574.8%
16#16ZGLM-5.1Z.ai2026-04-0774.2%
17#17Moonshot AIKimi K2.5Moonshot AI2026-01-2773.8%
18#18OGPT-5.2(high)OpenAI2025-12-1173.8%
19#19OGPT-5(high)OpenAI2025-08-0773.6%
20#20Anthropicclaude-opus-4-1-20250805Anthropic2025-08-0573.3%
21#21GoogleGemini 3 Pro PreviewGoogle2025-11-1872.9%
22#22ZGLM-5Z.ai2026-02-1172.1%
23#23AnthropicClaude Sonnet 4.5(no thinking)Anthropic2025-09-2971.3%
24#24AnthropicClaude Opus 4Anthropic2025-05-2270.7%
25#25OGPT-5.1(high)OpenAI2025-11-1368.0%
26#26OGPT-5 mini(medium)OpenAI2025-08-0764.7%
27#27Oo3(medium)OpenAI2025-04-1662.3%
28#28Anthropicclaude-3-7-sonnet-20250219Anthropic2025-02-2461.0%
29#29AlibabaQwen 3.6 Plus(2026-04-02)Alibaba2026-03-3157.9%
30#30Googlegemini-2.5-proGoogle2025-06-0557.6%

数据:LMArena leaderboard dataset(CC BY 4.0)。修改:各榜单仅显示前 50 名,分数四舍五入。 https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset公司标志为各公司的商标,仅用于帮助区分(图标:Simple Icons)。数据:Epoch AI — Capabilities & benchmarking(CC BY 4.0)。 https://epoch.ai/benchmarksSource: OpenRouter (openrouter.ai/rankings), as of 2026-10-04. Licensed under CC BY 4.0. https://openrouter.ai/rankings