Step by Token

チャプター 16 · 評価 · 8 min

あるモデルが優れているとどうわかるか？

MMLU、HumanEval、LMArena。LLMの知性を測定することが難しい理由—そして単一のベンチマークでは不十分な理由。

モデルが優れているかどうか、どうやって知るのか？

シンプルな質問のように見える。答えは複雑だ。

ソートアルゴリズムなら簡単だ：正しくソートされているか？どのくらい速く？言語モデルにとって、「優れている」とは次のことを意味しうる：正確、誠実、役立つ、無害、面白い、簡潔、創造的……これらの性質が常に同じ方向を向いているわけではない。

LLMの評価はそれ自体が研究分野だ。すべてのベンチマークは何か真実を捉え、何か重要なことを見逃している。

自動化されたベンチマーク

MMLU——知識の幅

MMLU（Massive Multitask Language Understanding）は57の学術分野をテストする：医学、法律、化学、歴史、数学、哲学……四択の選択式問題で自動的に評価される。

人間の基準値はしばしば誤って引用される。専門外の人間は**35%**前後にとどまる——57分野もあれば、そのすべてに通じている者はいない。あちこちで見かける約90%という数字は、各分野の専門家についての推定値だ。医学の問題には医師、法律の問題には法律家、という具合の。

最先端のモデルはこの線を超えた。それこそが問題なのだ。MMLUは今日飽和しており、最上位のモデル同士を区別できない。だからコミュニティはより難しいテスト（MMLU-Pro、GPQA、Humanity's Last Exam）へ移った。このサイクルについては下でまた触れる。

何を測定するか：パラメータに蓄積された知識の幅。 何を見逃すか：本当に新しい状況についての推論能力、不確実性を認める能力、不適切に組み立てられた質問を検出する能力。

HumanEval——コード

164のPythonプログラミング問題。モデルが関数を生成し、自動化されたユニットテストが動作を確認する。標準的な指標は**pass@k**：問題ごとに k 個の候補解を生成し（多くの場合 k=1 または k=10）、少なくとも1つがテストを通れば成功とカウントする。pass@1 は信頼性を、pass@10 は素の能力を測る。

何を測定するか：よく定義された問題に対して機能するコードを生成する能力。 何を見逃すか：開発の現実——5万行のコードベースのバグを理解すること、リファクタリング、ドキュメント化。

MATH & GSM8K——数学

MATH：LaTeX形式の高校・競技レベルの数学問題12,500題。GSM8K：自然言語による算術問題8,500題。

何を測定するか：多段階の数学的推論。 何を見逃すか：数学的創造性、形式的証明、発見。

人間のベンチマーク：LMArena

アリーナは異なる。匿名の人間が2つのモデル（名前なしで表示）に任意の質問をし、両方の応答を読んで好みを選ぶ。ELOスコアはこれらの数百万のデュエルから生まれる。

これが人間が実際に好むものを測定する唯一のベンチマークだ——その主観性をすべて込めて。理想的な長さ、トーン、フォーマット、ユーモア、知覚される誠実さ。

何を測定するか：全体的な人間の好み。 何を見逃すか：事実の正確さ（人間はどちらの回答が正しいか常に知っているわけではない）、専門的なタスク、再現性。

レーダーを探索してみよう

5つのモデルを6つのベンチマークで比較したものだ。そのうちのひとつ BBH（Big-Bench Hard）は、このベンチマークが作られた当時、モデルがまだ解けずにいた推論タスクを選り抜いたものだ。モデルをクリックすれば詳細なスコアが、ベンチマークをクリックすればそれが何を評価しているかが見える。

これは2024年のスナップショットであって、今日のランキングではない。 モデルは入れ替わり、ここに挙げたベンチマークのいくつかはすでに飽和している。それでもこのまま残しているのは、これが示すもの——得意分野の形がモデルごとに違い、全項目で勝つ者はいないということ——が、どの世代でも変わらず成り立つからだ。

各軸はベンチマークである。モデルごとにプロファイルが異なる——コードに強くて長文推論に弱い、あるいはその逆。どのレーダーチャートも単独では結論を出せない：客観的なベンチマークと人間の好みを組み合わせる必要がある。

レーダーが明らかにすること

パターンをよく見てみよう：

圧倒的なモデルはない。 このスナップショットでは、Claude 3.5 SonnetがHumanEvalとBBHでリードし、GPT-4oがアリーナとMATHで優位に立ち、Llama 3.1 70Bは比較に耐えつつも一度も先頭には立たない。名前はその後入れ替わった。だがグラフの形のほうは、世代ごとに繰り返されている。

アリーナと学術的ベンチマークは完璧には相関しない。 モデルはMMLUで優秀でありながらアリーナでは平均的であり得る——その逆もある。人間は学術的な正確さとは異なる何かを評価している。

ベンチマークは飽和しつつある。 MMLUは2020年には難しかった（GPT-3：43%）。その4年後には、主要モデルはすべて82〜89%の間に収まり、今日では上位勢が人間の専門家の線を超えている。HumanEvalも同じで、最前線は95%を上回っている。誰もがほとんど全問正解するようになれば、ベンチマークはもう何も順位づけできない。差別化はより難しいテスト（MMLU-Pro、GPQA、SWE-bench、HLE）へと移っていく。

評価の根本的な問題

データ汚染

訓練データにベンチマークの回答が含まれていれば、モデルは知らずに「カンニング」したことになる。MMLUのような公開データセットでは深刻な問題だ。

解決策：プライベートなベンチマーク、定期的に更新され、質問がオンラインに流通しないもの。大規模に維持するのは難しい。

ベンチマークのハッキング

一部のラボは、ベンチマークが測定すると想定されている能力のためにではなく、ベンチマーク自体のためにモデルを最適化する。モデルはMMLUの質問のフォーマットを認識することを学んでも、実際に内容を理解していないかもしれない。

これはグッドハートの問題だ：測定値が目標になると、それは良い測定値であることをやめる。

人間の好みの問題

アリーナにはバイアスがある：人間は短い答えの方が有用であるときでも、長くフォーマットされた応答（箇条書き、見出し、例）を好む傾向がある。アリーナのために最適化するモデルは冗長になる。

どのベンチマークも測定しないもの

  • 曖昧な質問を検出して明確化を求める能力。
  • 誠実さ：でっち上げる代わりに「分からない」と言えること。
  • 長い会話での一貫性。
  • 本当に新しい状況での因果推論。
  • ユーザーのコンテキストへの適応。

これらの性質は自動的に測定するのが難しい——しかし、実際にはしばしば最も重要なものだ。

新しい評価パラダイムに向けて

研究はいくつかの方向を模索している：

LLM-as-a-judge（審判としてのLLM）：強力なLLMを使って別のモデルの応答を評価する。スケーラブルだが循環的——審判のバイアスが評価を汚染する。

敵対的ベンチマーク：人間がモデルを積極的に騙そうとする。通常の条件下での能力だけでなく、堅牢性を測定する。

実タスク評価：

  • SWE-Bench — 実在のコードベースの中で修正すべきGitHubのバグ。モデルはリポジトリとバグの記述を受け取り、テストを通すパッチを生成しなければならない。HumanEvalよりはるかに難しい。
  • GAIA — 推論、ウェブ検索、ファイル操作を必要とする多段階の質問。エージェント能力を測定する。
  • GPQA（Graduate-Level Google-Proof QA）— 物理、化学、生物の博士課程レベルの質問で、Google検索では答えられないように設計されている。推論するモデルと取得するモデルを区別する。
  • ARC-AGI — 抽象的な視覚パズルで、新しい概念に対する一般的な推論を測定するように設計されている。2024年後半までは、人間レベルの閾値を超えたモデルはなかった。
  • Humanity's Last Exam — 古典的なベンチマークが飽和しているような領域で、世界最高の研究者レベルの質問。

継続的な自動評価：モデルの進化を追跡するために継続的に新しい質問を生成するシステム。

黄金律

どんな単一のベンチマークも、モデルがあなたのユースケースに適しているかどうかを教えてくれない。

最良の評価は常に同じだ：あなた自身の実際のユースケースのデータセットを構築し、それでモデルを評価し、リーダーボードにとって重要なことではなく、あなたにとって重要なことで比較する。

ベンチマークはプロキシだ。唯一の本当のテストは、あなたの問題だ。

とはいえ、こうしたランキングは予想外のことをひとつ浮かび上がらせた。最も難しいテスト——GPQA、ARC-AGI、競技レベルの数学——では、同じひとつのモデルが、重みを一切いじられないまま凡庸から優秀に変わりうるのだ。変わる唯一の変数は、答える前に考えさせる時間の長さだけ。長く考えるだけで、どうして点数が上がるのか。次の章へ。

更新日