Epoch AI · 사실 질문 정확도 (SimpleQA Verified)
공개된 벤치마크 자료(LMArena 사용자 투표 순위, Epoch AI 시험 점수, OpenRouter 사용량 순위)를 정기적으로 받아 보여 줍니다. 각 순위표의 공개일과 가져온 날을 함께 표시합니다. 이 사이트가 직접 매긴 점수가 아닙니다.
이 순위표 읽는 법
무엇을 재나: 짧은 사실 질문에 정확히 답하는지 평가하는 SimpleQA Verified입니다. Google DeepMind·Google Research가 OpenAI의 SimpleQA를 바탕으로 중복과 정답 오류 등을 줄인 1,000문항 평가입니다.
점수 읽는 법: Epoch가 표시하는 값은 전체 질문 중 정답을 낸 비율(%)입니다. Google 공식 평가의 F1 지표와 다르며, 이 점수만으로 환각이나 답변 거절 성향을 모두 평가할 수는 없습니다.
주의할 점: 검색 도구 없이 모델 내부 지식으로 답하는 조건이므로 검색을 켠 서비스의 정확도와는 다를 수 있습니다. Epoch는 답변 거절을 줄이는 추가 지시를 사용합니다.
이번 순위에서 읽을 점
- 최고 점수는 GPT-6 Astra의 75.6%입니다.
- 1위와 5위의 차이는 4.8%p입니다.
- 상위 10개 중 Google 모델이 4개로 가장 많습니다.
- 이 시험 결과가 공개된 모델은 30개입니다.
사실 질문 정확도 (SimpleQA Verified) Epoch AI
Epoch AI가 직접 측정했거나 개발사·평가 기관이 발표한 점수를 모은 자료입니다. 시험마다 평가된 모델이 달라서, 최신 모델이 아직 없는 시험도 있습니다. 같은 모델의 추론 강도별 결과 중 가장 높은 점수를 보여 줍니다. · 가져온 날 2026-10-04
막대는 정답률(%)입니다. 0%부터 그립니다.
표로 보기 (상위 30개)
| 순위 | 모델 | 만든 곳 | 출시일 | 점수 |
|---|---|---|---|---|
| 1 | #1OGPT-6 Astra(max) | OpenAI | 2026-09-03 | 75.6% |
| 2 | #2OGPT-6.1 Sol(max) | OpenAI | 2026-09-29 | 73.9% |
| 3 | #3Gemini 3.1 Pro Preview | 2026-02-19 | 73.5% | |
| 4 | #4Claude Opus 5.5(max) | Anthropic | 2026-09-22 | 72.2% |
| 5 | #5Claude Fable 5.1(max) | Anthropic | 2026-09-01 | 70.8% |
| 6 | #6Claude Fable 5(xhigh) | Anthropic | 2026-06-09 | 70.7% |
| 7 | #7Gemini 3.8 Flash(high) | 2026-09-02 | 69.7% | |
| 8 | #8OGPT-5.6 Sol(max) | OpenAI | 2026-07-09 | 69.7% |
| 9 | #9Gemini 3.7 Flash(high) | 2026-08-13 | 69.2% | |
| 10 | #10Gemini 3 Flash Preview | 2025-12-17 | 66.8% | |
| 11 | #11Gemini 3.5 Flash | 2026-05-19 | 66.2% | |
| 12 | #12Gemini 3.6 Flash | 2026-07-21 | 66.2% | |
| 13 | #13OGPT-5.5(xhigh) | OpenAI | 2026-04-23 | 63.0% |
| 14 | #14OGPT-6 Sol(max) | OpenAI | 2026-09-22 | 60.7% |
| 15 | #15Muse Spark 1.2(xhigh) | Meta | 2026-08-05 | 60.3% |
| 16 | #16Claude Opus 5(max) | Anthropic | 2026-07-24 | 59.9% |
| 17 | #17Muse Spark 1.1 | Meta | 2026-07-09 | 57.8% |
| 18 | #18xGrok 4.7(xhigh) | xAI | 2026-09-21 | 56.0% |
| 19 | #19Qwen3.7 Max | Alibaba | 2026-05-19 | 55.8% |
| 20 | #20Claude Opus 4.8 | Anthropic | 2026-05-28 | 53.0% |
| 21 | #21DeepSeek V4 Pro 0813(max) | DeepSeek | 2026-08-13 | 52.9% |
| 22 | #22Qwen 3.6 Max(Preview) | Alibaba | 2026-04-20 | 52.0% |
| 23 | #23Claude Opus 4.7(xhigh) | Anthropic | 2026-04-16 | 51.7% |
| 24 | #24Kimi K3(max) | Moonshot AI | 2026-07-16 | 50.6% |
| 25 | #25OGPT-5(high) | OpenAI | 2025-08-07 | 50.1% |
| 26 | #26Oo3(high) | OpenAI | 2025-04-16 | 49.4% |
| 27 | #27xGrok 4.6(high) | xAI | 2026-08-12 | 49.3% |
| 28 | #28Qwen3-Max-Instruct | Alibaba | 2025-09-24 | 48.7% |
| 29 | #29xGrok 4.5(high) | xAI | 2026-07-08 | 48.3% |
| 30 | #30OGPT-5.1(high) | OpenAI | 2025-11-13 | 48.0% |
데이터: LMArena leaderboard dataset (CC BY 4.0). 변경: 각 순위표의 상위 50개만 표시, 점수는 반올림. https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset회사 로고는 각 회사의 상표이며 구분을 돕기 위해서만 씁니다(아이콘: Simple Icons).데이터: Epoch AI — Capabilities & benchmarking (CC BY 4.0). https://epoch.ai/benchmarksSource: OpenRouter (openrouter.ai/rankings), as of 2026-10-04. Licensed under CC BY 4.0. https://openrouter.ai/rankings