Epoch Capabilities Index (ECI) を理解する

コピーしました

はじめに

AI モデルの能力が急速に向上する中で、その向上を長期的にトラッキングする指標として、Epoch AI が開発した Epoch Capabilities Index (ECI) が注目されています。OpenAI や Anthropic も独自の ECI を算出し、モデル開発の加速度合いをモニタリングしています。

この記事では、まず ECI の基本的な方法を解説します。そのうえで、評価ライブラリ simple-evals-mm のリーダーボードのスコアから実際に ECI を算出し、ECI の解釈方法や利用ケースを紹介します。

AI モデルの能力の長期的なトレンドをどう追うか

AI モデルの能力の向上を長期的に追うときは、各モデルの総合的な能力を単一の値で表すと便利です。モデルどうしの比較や、時間に沿った変化がひと目でわかるからです。ECI は、そのような値を求める方法の一つです。

単一の値で表す最も素朴な方法は、決まったベンチマークのセットで評価対象のモデルを評価し、スコアを平均することです。たとえば Artificial Analysis の Intelligence Index (v5) は、9 つの高難度ベンチマークのスコアを重み付きで平均して、モデルを比較します。

ただし、この方法で長期的なトレンドを追おうとすると、次のような問題があります。

  • 比較するには、すべての (モデル, ベンチマーク) の組のスコアが必要です。新しいモデルが出るたびにセットのすべてのベンチマークで評価し、古いモデルも新しく加えたベンチマークで評価し直さなければなりません。
  • ベンチマークが飽和するたびにセットを入れ替える必要があり、入れ替えの前後でスコアを比較できなくなります。

ECI は、これらの問題に対処できる方法です。ECI では、得られている (モデル, ベンチマーク) の評価結果から、AI モデルの能力とベンチマークの難易度を同時に推定します。

  • すべての組のスコアは必要ありません。過去の評価結果をそのまま再利用し、新しいモデルや新しいベンチマークの結果を追加していくだけで、異なるベンチマークで評価された新旧のモデルを同じ尺度で比較できます。
  • ベンチマークごとに難易度を推定するので、各ベンチマークがモデルの差の推定に与える影響が、その難易度に応じて変わります。上位のモデルがほぼ満点を取る飽和したベンチマークは、それらのモデルの差の推定にはほとんど影響せず、上位のモデルでもスコアに差がつく難しいベンチマークが、その差を大きく左右します。そのため、ベンチマークを入れ替えなくても、新しい難しいベンチマークを加えていくことで長期にわたる能力のトレンドを追えます。

ECI の仕組み

統計モデル

ECI は、AI モデル mm のベンチマーク bb でのスコアを、次のロジスティック関数による統計モデルで表します。

score(m,b)=σ(αb(Cm−Db)),σ(z)=11+e−z\text{score}(m, b) = \sigma\bigl(\alpha_b (C_m - D_b)\bigr), \qquad \sigma(z) = \frac{1}{1 + e^{-z}}
  • CmC_m: AI モデル mm の能力 (capability)
  • DbD_b: ベンチマーク bb の難易度 (difficulty)。Cm=DbC_m = D_b のときスコアがちょうど 50% になります。
  • αb\alpha_b: ベンチマーク bb の傾き (slope)。大きいほど、難易度の付近でスコアが急に立ち上がります。

次の図は、ECI の統計モデルによる能力とスコアの関係です。能力 CmC_m が難易度 DbD_b を上回るほどスコアは 100% に近づき、下回るほど 0% に近づきます。DbD_b は曲線を左右に動かし、αb\alpha_b は立ち上がりの急さを決めます。傾きが大きいベンチマークは、難易度 DbD_b の近くの狭い能力の範囲でしか AI モデルの差を区別できず、すぐに飽和します。

ECI の統計モデルによる、AI モデルの能力 Cm とベンチマークのスコアの関係。

パラメータの推定方法

ECI は、得られている (モデル, ベンチマーク) の組のスコア ym,by_{m,b} を使って、CmC_m、DbD_b、αb\alpha_b を最小二乗法で同時に推定します (簡単のため、ここでは正則化の項を省略しています)。

min⁡C,D,α∑(m,b)(score(m,b)−ym,b)2\min_{C, D, \alpha} \sum_{(m, b)} \bigl(\text{score}(m, b) - y_{m,b}\bigr)^2

和は得られているスコアだけについて取るので、一部のスコアが欠けていてもそのまま推定できます。

ただし、この最適化の解は一意に定まりません。すべての CmC_m と DbD_b に同じ値を足したり、全体を定数倍したりしても、ECI の統計モデルの予測は変わらないためです。そこで ECI の元になった論文 A Rosetta Stone for AI Benchmarks では、一つのベンチマークの難易度と傾きを固定して最適化し、その後、解釈しやすいように線形変換で尺度をそろえます。Epoch AI の ECI は Claude 3.5 Sonnet = 130、GPT-5 = 150 になるように変換しています。このことからもわかるように、ECI の絶対値には意味がなく、AI モデル間の差 (相対値) だけが意味を持ちます。

このように、ECI はスコアから CmC_m、DbD_b、αb\alpha_b を最小二乗法で同時に推定するという、非常にシンプルな方法です。

実際に ECI を計算してみる

ここからは、実際の評価結果を使って ECI を計算し、AI モデルの能力やベンチマークの難易度、傾きがうまく推定できるかを確かめます。

データ

評価結果には、simple-evals-mm のリーダーボードのスコアを使います。simple-evals-mm は様々な AI モデルを評価できる評価ライブラリで、テキストのみのタスクと画像を含むマルチモーダルのタスクを合わせて 50 以上のタスクがサポートされています。そのリーダーボードには、フロンティアの AI モデルから 30B 級、10B 級のオープンモデルまでを、多くのタスクで評価した結果が載っています。

ここでは、2026 年 11 月 21 日時点のリーダーボードから、13 個の AI モデルを 27 個のベンチマークで評価した、すべての (モデル, ベンチマーク) の組 (13 × 27 = 351 組) のスコアを使います。簡単のため、各モデルは最も推論の高い設定 (effort) の結果だけを使い、テキスト専用のモデルは除きました。

推定した能力 CmC_m は、GPT-6 Astra = 150、Qwen3.5-9B = 100 をアンカー (基準) として線形変換します。

パラメータの推定の過程

推定が進むにつれて、ECI の統計モデルの曲線と AI モデルの能力の推定値がどう変わるかを見てみましょう。

パラメータの推定の過程。各ベンチマークの曲線 (選んだベンチマークは緑) と、そのベンチマークの各 AI モデルのスコア。横軸は、各ステップで推定された AI モデルの能力です。

最初はすべての AI モデルの能力とベンチマークの難易度が同じ初期値なので、点は縦一列に並び、曲線もすべて重なっています。推定が進むと、能力の高い AI モデルほど右へ、能力の低い AI モデルほど左へ移動し、同時に、難しいベンチマークの曲線ほど右へ、易しいベンチマークの曲線ほど左へ移動して、点の並びに沿うように傾きを変えていきます。二乗誤差の和は 42.8 から 1.0 まで下がり、12 ステップでほぼ収束します。

推定された AI モデルの能力 (ECI)

推定された能力 (ECI) で AI モデルを並べたのが次の図です。

ECI による AI モデルのランキング。平均スコアによる順位と比べられます。

GPT-6 Astra と Claude Opus 5.5 が上位に並び、オープンモデルの中では Kimi K3.1 Pro が 136 で最も高くなっています。ECI による順位は、平均スコアによる順位とほとんど同じでした。

推定されたベンチマークの難易度

推定された能力に対して、いくつかのベンチマークの実際のスコアと、フィットした ECI の統計モデルの曲線を描いたのが次の図です。

4 つのベンチマークの、AI モデルの能力に対するスコア。点は実際のスコア、曲線はフィットした ECI の統計モデルです。

JGraphQA-Refined と HakushoBench は日本語の図表を読み取るベンチマーク、CharXiv Reasoning は英語の論文の図表を読み取って推論するベンチマーク、ZeroBench はフロンティアの AI モデルでも解けないように作られた、画像を使った推論のベンチマークです。

JGraphQA-Refined (Db=29D_b = 29) は能力の低い AI モデルでも高いスコアを取れる易しいベンチマークで、HakushoBench (Db=67D_b = 67) はそれより難しいことがわかります。CharXiv Reasoning (Db=68D_b = 68) は HakushoBench とほぼ同じ難易度で、曲線もほとんど重なっています。ZeroBench (Db=156D_b = 156) は、最も能力の高い GPT-6 Astra (150) でもスコアが 50% に届かない、非常に難しいベンチマークです。

すべてのベンチマークの難易度 DbD_b と傾き αb\alpha_b を一つの図にまとめると、次のようになります。点が難易度 (スコアが 50% になる能力)、帯はスコアが 10% から 90% に上がる能力の範囲で、帯が短いほど傾きが急です。

ベンチマークの難易度。点は難易度 Db、帯はスコアが 10% から 90% になる能力の範囲です。

最も難しいのは ZeroBench で、HLE-Diamond (142)、SimpleQA Verified (129) が続きます。反対に、JGraphQA-Refined、RealWorldQA、CountBenchQA は難易度が 30 前後で、今回用いた評価対象のモデルにとってはほぼ飽和しています。直感ともよく合う結果です。

IFBench は帯が非常に長く (αb\alpha_b が小さく)、能力の高い AI モデルでもスコアがあまり伸びません。能力とスコアの関係が弱いベンチマークであることが示唆されます。

スコアが欠けても順位は保たれるか

ECI は、一部のスコアが欠けていても AI モデルを比較できる仕組みです。これを確かめるため、13 個の AI モデルについて、全スコアの平均による順位を正解とし、一部のスコアを取り除いたときに、ECI がどれだけ正解の順位を再現できるかを調べました。スコアの取り除き方は次の 2 通りです。

  • Random: 各スコアを同じ確率で取り除きます。
  • Band: 長期間にわたって集めた評価結果では、古いモデルは後から作られた難しいベンチマークでは評価されず、新しいモデルは古い易しいベンチマークでは評価されないことがよくあります。これを模して、各 AI モデルは自分の能力に近い難易度のベンチマークでだけ評価されたことにします。

具体的には、次の図のように AI モデルを能力の順 (縦) に、ベンチマークを難易度の順 (横) に並べ、それぞれの並び順の位置が近い組のスコアだけを残します。残す組は図の対角線に沿った帯になり、帯の幅を狭くするほど、能力の低い AI モデルには易しいベンチマークだけが、能力の高い AI モデルには難しいベンチマークだけが残り、多くのスコアが取り除かれます。

2 通りの取り除き方での、残るスコア (塗りつぶし) と取り除かれるスコア (枠のみ)。行は AI モデル (上ほど能力が高い)、列はベンチマーク (右ほど難しい) です。Random は取り除き方の一例です。
取り除いたスコアの割合と、ECI による順位と全スコアの平均による順位の Kendall τ (30 回の試行の平均)。

Random では、ECI は 70% のスコアを取り除いても τ = 0.83 を保ちました。Band でも、3 分の 1 程度を取り除くまでは τ = 0.90 と、Random と同じくらい順位を保ちます。ECI は、残っているスコアをベンチマークの難易度の違いを考慮して使えるため、異なるベンチマークで評価された AI モデルどうしも比較できます。

一方で、Band の帯の幅を狭くしていくと τ は下がり、7 割ほどを取り除いた時点 (各 AI モデルに残るベンチマークが 4 個から 8 個程度) で、順位をほとんど再現できなくなりました。能力の低い AI モデルと高い AI モデルが同じベンチマークで評価されていなくても、間の AI モデルを介してベンチマークの評価がつながっていれば ECI は両者を比較できますが、そのつながりが薄くなりすぎると、推定がうまくいかなくなります。このことから、ECI を使うには、AI モデルどうしの評価に十分な重なりが必要であることがわかります。

評価していないベンチマークのスコアを予測する

推定した能力 CmC_m、難易度 DbD_b、傾き αb\alpha_b を ECI の統計モデルの式に代入すれば、

y^m,b=σ(αb(Cm−Db))\hat{y}_{m,b} = \sigma\bigl(\alpha_b (C_m - D_b)\bigr)

として、まだ評価していない (モデル, ベンチマーク) の組のスコアも予測できます。351 組のそれぞれについて、その組のスコアだけを除いて ECI の統計モデルをフィットし直し、除いたスコアを予測しました (leave-one-out)。

そのスコアを除いてフィットした ECI の統計モデルによる予測と、実際のスコア。点線は予測が完全に当たる場合です。

多くの組で、予測は実際のスコアの近くに集まっています。

予測が大きく外れているところは、その AI モデルがそのベンチマークのタスクを得意、あるいは苦手としていることを示します。実際のスコアと予測値の差を、AI モデルとベンチマークごとに並べたのが次の図です。

実際のスコアと予測値の差。青は予測値より良く、赤は予測値より悪いことを表します。行は ECI の順、列はベンチマークの易しい順です。
  • ScreenSpot-Pro (GUI 操作) は、最も予測が外れたベンチマークでした。DeepSeek-V4.1-Flash は予測の 59% に対して実際は 8.5% と大きく下回り、Muse Glimmer 30B は予測の 26% に対して 62% と大きく上回りました。GUI 操作の能力は、総合的な能力とは異なる傾向があることがわかります。
  • 他の AI モデルより日本語データの比重が大きい学習データで学習された LLM-jp-4-VL 9B は、CVQA-JA、MECHA-ja、JamC-QA といった日本の文化や知識を問うベンチマークでは予測を大きく上回り、MMMU-Pro や AIME 2026 のような英語の専門知識や数学のベンチマークでは下回りました。学習データの構成が、このような得意不得意として表れていると考えられます。

このように、予測と実際のスコアの差を見ると、タスクやドメインへの特化の度合いを定量的に判断できます。ECI の元論文でも、Claude のモデルはコーディングベンチマークの SWE-Bench Verified で予測を上回るといった例が挙げられています。

テキストとマルチモーダルに分けた ECI

ここまでは、各 AI モデルの能力を一つの値 CmC_m で表してきました。しかし実際には、テキストのタスクは得意でも画像を含むタスクは苦手、といった AI モデルもあるはずです。

そこで、AI モデルの能力をテキストとマルチモーダルで別々に推定してみました。ベンチマークの難易度 DbD_b と傾き αb\alpha_b は、すべてのベンチマークで推定した値をそのまま使い、テキストのベンチマーク (7 個) のスコアだけから推定し直した能力を「テキストの ECI」、マルチモーダルのベンチマーク (20 個) のスコアだけから推定し直した能力を「マルチモーダルの ECI」とします。Epoch AI がドメイン別の ECI を求めるのと同じ方法で、どちらも同じ尺度の上の値なので、直接比べられます。

テキストの ECI (左) とマルチモーダルの ECI (右)。同じ AI モデルを線で結んでいます。差がおよそ 6 ポイント以上の AI モデルに名前を付けています。

線が右下がりの AI モデルはテキストのほうが、右上がりの AI モデルはマルチモーダルのほうが能力が高いことを表します。DeepSeek-V4.1-Flash はテキストのほうが 17 ポイント、Gemini 3.8 Flash は 12 ポイント高くなっています。反対に、Qwen3.8-27B と Muse Glimmer 30B はマルチモーダルのほうが 6 ポイントほど高くなっています。

このように、テキストとマルチモーダルのように性質の大きく異なるタスクの間では、能力を一つの値で表す仮定は成り立たないことがあります。ECI による順位を見るときは、どのベンチマークで推定した値なのかを意識する必要があります。

将来の能力を予測する

ECI の重要な用途の一つは、フロンティアの AI モデルの能力の推移を外挿して、将来を予測することです。元論文では、リリースした時点で最も能力が高かった AI モデル (フロンティア) の推移を直線でフィットし、それを外挿して今後の能力を予測しています。

今回の simple-evals-mm のデータはリリース時期が 2026 年の数か月に限られるので、ここでは長期間のデータがある Epoch AI の ECI (2026 年 11 月 23 日時点) を使って、同じように描きました。推論モデルが登場した 2024 年 9 月以降のフロンティアの AI モデルに直線をフィットすると、ECI は年に約 16.6 ポイントのペースで伸びています。この直線を外挿すると、1 年後の 2027 年 11 月には 188 程度 (95% 区間 186 から 191) になると予測されます。

Epoch AI の ECI の推移。黒い点はリリースした時点で最も ECI が高かった AI モデル、破線は 2024 年 9 月以降のそれらの AI モデルにフィットした直線とその外挿 (帯は 95% 区間) です。出典: Epoch AI, Epoch Capabilities Index のデータ (CC BY 4.0) をもとに作成。

OpenAI や Anthropic は、実際の ECI と予測されたトレンドとのずれを見ることで、AI 研究の自動化などによって能力の伸びが加速しているかを確認しています。

ECI を解釈するうえでの注意点

ECI は AI モデルの能力の推移を追うのに便利なツールである一方、その値を解釈するうえではいくつか注意が必要です。

  • ECI だけではドメインごとの得意不得意はわからない: ECI は AI モデルの能力を一つの値で表すので、GUI 操作やコーディングのようなドメインに特化した能力も、ほかの能力とまとめて一つの値になります。そのため、ECI が同じでも、ドメインごとの得意不得意は異なることがあります。ドメイン別に ECI を推定したり、予測と実際のスコアの差を見たりすることで、ある程度把握できます。
  • ベンチマークの選び方で結果が変わる: どのベンチマークを含めるかによって、推定される ECI の値や AI モデルの順位が変わります。たとえば知識を問うベンチマークを多く含めると、パラメータ数の大きな AI モデルが有利になります。
  • 難しいベンチマークの不足: 最も能力の高い AI モデルより難しいベンチマークが少ないと、上位のモデルの差や今後の伸びを測りにくくなります。
  • ECI の値の解釈が難しい: ECI の値は抽象的な尺度で、絶対値には意味がないので、AI モデル間の差で解釈します。しかし、その差がどのような能力の違いを意味するのかも自明ではありません。「GPT-4 から GPT-5 への差の何倍」のように既知のモデルの差で解釈する方法や、METR のタスクの時間 (time horizon) に対応付けて解釈する方法が提案されています。

ほかにも、ECI を解釈するうえでの注意点はいくつもあります。詳しくは、元論文や Epoch AI の ECI のページ、ECI の開発者へのインタビュー記事 The most important number in AI (Asterisk Magazine) を参考にしてください。

まとめ

この記事では、ECI の仕組みを解説し、simple-evals-mm のリーダーボードに載っているスコアから実際に ECI を算出して、その解釈方法や利用ケースを紹介しました。

ECI は、既存のベンチマークの結果を再利用しながら、AI モデルの能力の長期的なトレンドを追える便利なツールです。Anthropic や OpenAI も独自の ECI を算出して、モデル開発の加速度合いをモニタリングしています。ECI を使った分析を読む際に、この記事が参考になれば幸いです。

参考文献