Epoch AI · 各分野の最高難度の問題（HLE）

このランキングの読み方

測定する能力： Center for AI SafetyとScale AIが作成したHumanity's Last Examです。さまざまな分野の専門家が作成した公開問題2,500問で構成され、既存ベンチマークの飽和に対応するために開発されました。

スコアの読み方： 正答率（%）です。難度の高い知識と推論を評価し、スコアはモデルやツールの使用条件によって変わります。

注意点： 問題や正解・採点の誤りが指摘されています。小さなスコア差は、問題の不備、評価条件、統計的な不確実性も確認して解釈してください。

今回のランキングから読み取れること

• 最高スコアはGPT-6 Astraの54.8%です。
• 1位と5位の差は10.5%pです。
• 上位10モデルのうち、OpenAIのモデルが3モデルで最も多くなっています。
• この試験の結果が公開されているモデルは30件です。