チャプター 01 · 基礎 · 6 min

一度に一語を予測する

言語モデルとは何か？次の単語を予測することだけで知性が生まれる理由。

最大の驚き

現代のAIで最も不思議なことは、大規模言語モデル（LLM）が行うすべてのことが、たった一つの能力に基づいているということだ——次の単語を予測すること。

文章の冒頭を与えてみよう：

「空が青いのは……」

モデルは、自身が知っている何万もの単語の断片の中から、次に来る可能性が最も高いものを計算する。そして、この新しい単語を加えて同じことを繰り返す。また繰り返す。それだけだ。

この小さく機械的な操作から、他のすべてが生まれる——翻訳、要約、コード、量子物理学の説明、冗談、詩。

次の単語をうまく予測するには、世界について膨大な量の知識が必要だ。

こんな文章を考えてみよう：

「医師は看護師を解雇した。なぜなら彼女は……」

続きを予測するには、「彼女」がおそらく医師ではなく看護師を指すことを知る必要がある——文法、文脈、さらには医療の職場の社会的慣習まで理解しなければならない。

単語を予測することは、それらの単語を生み出した世界をモデル化することだ。

これが核心的なアイデアだ。大規模な人間のテキストを予測するようシステムに強制することで、そのテキストを生み出した世界の仕組みを暗黙的に学ばせることができる。

「モデルが次の単語を予測する」というのは省略表現だ。実際には、各ステップで語彙全体にわたる確率分布を生成する——すべてのトークンにスコアが付き、合計が1になる。

テキストを生成するには、この分布から選択しなければならない。ここが面白いところだ。同じモデル、同じプロンプトでも、使うサンプリング戦略によって全く異なるテキストが生成される。

各ステップで、モデルは語彙のすべてのトークンに対して確率分布を出力する。最も高いバーが唯一の妥当な候補であることはまれで、これがテキストの続きを機械的でなく開かれたものにしている。

上の3つのレバーで遊んでみよう：

Temperature（温度） — ロジット——正規化される前に、モデルが各トークンに与える生のスコア——を割り、それをソフトマックス、つまりこのスコアを合計1の確率に変換する関数に通す。低い温度（0.1〜0.3）では、分布が最も可能性の高い候補に集中し、モデルは予測可能でほぼ決定論的になる。高い温度（1.5〜2.0）では分布が平坦になり、珍しい選択肢が再び現実的になる。
Top-k — k個の最も確率の高い候補だけを残し、確率の低い長い裾を除外する。
Top-p（ニュークリアスサンプリング）— 累積確率がpを超える最小セットを残す。Top-kよりも賢い——あるステップに明確な答えがある場合、pは候補を1つに絞れる。モデルが20の近い選択肢で迷っているなら、すべてを残す。

首都プロンプトを試してみよう。分布が東京に非常に集中しているため、temperatureはほとんど効果がない——他の選択肢にチャンスが生まれるには1.8以上が必要だ。モデルは確信している。

逆に、空プロンプトの2番目のステップでは、複数の続き（青い、色、海……）が可能だ——そこでtemperatureが本当に結果を変える。

LLMが行うすべてのことは、このループに収まる：

機械的で、反復的で、説明するには退屈なくらいシンプルだ。しかし、何百億ものパラメータを持つモデルで何十億回も実行されると、このループはダイアログ、デモンストレーション、コンパイルされるコードを生み出す。

旅路は4つのパートに分かれている。最も機械的なものから、最も完成されたものへ。

I. モデルの解剖（第2章〜第6章）。機械を分解する。トークン化、埋め込み、アテンション、トランスフォーマー、学習——テキストがどうやってベクトルの列になり、何十億ものパラメータがそれをどう扱えるようになるのか。

II. アシスタントとして応答する（第7章〜第9章）。サンプリング、アライメント、コンテキストの記憶——素のテキスト補完機と、話しかけられる相手とを分けているもの。

III. 本番環境のモデル（第10章〜第14章）。プロンプトを送ったときに実際に何が起きているのか。RAG、エージェント、プロンプトエンジニアリング、ハルシネーション、ファインチューニング——LLMを日常的に使えるものにしている工学と、いまだに壊れる部分。

IV. さらに深く（第15章〜第21章）。研究の現場を占めるテーマたち。マルチモダリティ、評価、拡張された推論、KVキャッシュ、スケーリング則、解釈可能性、拡散——この先がどこへ向かうのかを理解するために。

各章には少なくとも1つのインタラクティブな可視化が含まれている。目標は数式を暗記させることではなく、内部で何が起きているかについての機械的な直感を与えることだ。

さあ、始めよう。

更新日 2026年8月2日