Epoch AI · 修复实际代码缺陷(SWE-bench Verified)
定期获取并展示公开的基准测试资料(LMArena 用户投票排名、Epoch AI 测试分数、OpenRouter 使用量排名)。每个榜单均标注数据发布日期和获取日期。这些分数并非本站自行评定。
如何解读此排行榜
衡量什么: SWE-bench Verified 评估解决真实 Python 开源仓库中 GitHub issue 的能力。原始数据集包含 12 个仓库的 500 个 issue,Epoch 自行评估时使用在运行环境中验证过的 484 个。
如何解读分数: 通过指定的问题解决验证测试和现有功能保留测试的 issue 比例(%)。可用于参考模型解决真实仓库 issue 的能力。
注意事项: 分数不仅取决于模型,也取决于工具和智能体设置。评估以 Python 仓库为主,请同时查看评估的 issue 数量及运行条件。
本次排名的解读要点
- 最高分为 Claude Opus 4.7 的 83.5%。
- 第 1 名与第 5 名的差距为 4.8%p。
- 已有 30 个模型公开了此测试的结果。
修复实际代码缺陷(SWE-bench Verified) Epoch AI
数据汇总了 Epoch AI 实测以及开发商或评测机构公布的分数。各项测试评估的模型不同,部分测试尚未包含最新模型。同一模型在不同推理强度下的结果中,仅展示最高分。 · 获取日期:2026-10-04
柱状条表示正确率(%),从 0% 起绘制。
查看表格(前 30 名)
| 排名 | 模型 | 开发方 | 发布日期 | 分数 |
|---|---|---|---|---|
| 1 | #1Claude Opus 4.7(max) | Anthropic | 2026-04-16 | 83.5% |
| 2 | #2OGPT-5.5(xhigh) | OpenAI | 2026-04-23 | 80.6% |
| 3 | #3Gemini 3.5 Flash | 2026-05-19 | 79.3% | |
| 4 | #4Claude Opus 4.6(no thinking) | Anthropic | 2026-02-05 | 78.7% |
| 5 | #5ZGLM-5.2 | Z.ai | 2026-06-16 | 78.7% |
| 6 | #6DeepSeek v4 Pro(max) | DeepSeek | 2026-04-24 | 77.6% |
| 7 | #7Qwen3.7 Max | Alibaba | 2026-05-19 | 77.3% |
| 8 | #8OGPT-5.4(high) | OpenAI | 2026-03-05 | 76.9% |
| 9 | #9Qwen 3.6 Max(Preview) | Alibaba | 2026-04-20 | 76.7% |
| 10 | #10Kimi K2.6 | Moonshot AI | 2026-04-20 | 76.7% |
| 11 | #11Claude Opus 4.5(no thinking) | Anthropic | 2025-11-24 | 76.7% |
| 12 | #12Gemini 3.1 Pro Preview | 2026-02-19 | 75.6% | |
| 13 | #13Gemini 3 Flash Preview | 2025-12-17 | 75.4% | |
| 14 | #14Claude Sonnet 4.6(no thinking) | Anthropic | 2026-02-17 | 75.2% |
| 15 | #15OGPT-5.3 Codex(high) | OpenAI | 2026-02-05 | 74.8% |
| 16 | #16ZGLM-5.1 | Z.ai | 2026-04-07 | 74.2% |
| 17 | #17Kimi K2.5 | Moonshot AI | 2026-01-27 | 73.8% |
| 18 | #18OGPT-5.2(high) | OpenAI | 2025-12-11 | 73.8% |
| 19 | #19OGPT-5(high) | OpenAI | 2025-08-07 | 73.6% |
| 20 | #20claude-opus-4-1-20250805 | Anthropic | 2025-08-05 | 73.3% |
| 21 | #21Gemini 3 Pro Preview | 2025-11-18 | 72.9% | |
| 22 | #22ZGLM-5 | Z.ai | 2026-02-11 | 72.1% |
| 23 | #23Claude Sonnet 4.5(no thinking) | Anthropic | 2025-09-29 | 71.3% |
| 24 | #24Claude Opus 4 | Anthropic | 2025-05-22 | 70.7% |
| 25 | #25OGPT-5.1(high) | OpenAI | 2025-11-13 | 68.0% |
| 26 | #26OGPT-5 mini(medium) | OpenAI | 2025-08-07 | 64.7% |
| 27 | #27Oo3(medium) | OpenAI | 2025-04-16 | 62.3% |
| 28 | #28claude-3-7-sonnet-20250219 | Anthropic | 2025-02-24 | 61.0% |
| 29 | #29Qwen 3.6 Plus(2026-04-02) | Alibaba | 2026-03-31 | 57.9% |
| 30 | #30gemini-2.5-pro | 2025-06-05 | 57.6% |
数据:LMArena leaderboard dataset(CC BY 4.0)。修改:各榜单仅显示前 50 名,分数四舍五入。 https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset公司标志为各公司的商标,仅用于帮助区分(图标:Simple Icons)。数据:Epoch AI — Capabilities & benchmarking(CC BY 4.0)。 https://epoch.ai/benchmarksSource: OpenRouter (openrouter.ai/rankings), as of 2026-10-04. Licensed under CC BY 4.0. https://openrouter.ai/rankings