LMArena · エージェント総合

このランキングの読み方

測定する能力： LMArenaのAgent Arenaで、人々がエージェントモードに実際の業務（ソフトウェア開発、財務分析など）を任せた記録に基づくランキングです。エージェントはbash・ウェブ検索・ファイル操作などのツールを自ら使用します。

スコアの読み方： スコアはIPS(τ̂)という因果推定値で、0が基準線となり、高いほどそのモデルを使った際の結果が改善したことを意味します。ユーザーによる成功の確認、称賛・不満、修正指示の反映、bashエラーからの復旧、ツールのハルシネーション回避という5つのシグナルを統合しています。

注意点： 会話ランキング（Bradley–Terry方式）とはスコアの尺度が異なるため、直接比較できません。観測数が少ないモデルは信頼区間が広くなります。

今回のランキングから読み取れること

• 1位のClaude Fable 5.1 (Max)と2位のClaude Opus 5.5 (High)の95%信頼区間は重なっています。この集計だけで2つのモデルの順位を確定するのは困難です。
• 1位と信頼区間が重なるモデルが、ほかに4件あります。小さな順位差は、投票数も踏まえて慎重に解釈してください。
• 上位10モデルのうち、Anthropicのモデルが6モデルで最も多くなっています。
• 1位モデルの観測数は1,683,381件で、このランキングには50モデルが掲載されています。