Dimitri Mérault

Step by Token はどう動くのかを説明します。The Loss Curve はどう作るのかを見せます。

2つのサイトは併せて読めるように作られていますが、どちらか一方だけでも成り立ちます。ここでは可視化を操作しながら仕組みの直感を育て、あちらでは実際にコードを書いてブラウザで動かし、自分のマシンで学習する小さな transformer を持ち帰ることになります。

どの章も、数式ではなく具体的な直感から始まります。インタラクティブに見せられる概念は必ず見せる——21章それぞれに少なくとも1つは操作できる可視化があり、それを作る過程でこそ、自分が説明していることを最もよく理解できました。

内容は積み上げ式です。第02章のトークンは第03章でベクトルになり、第04章で互いを見つめ合い、第05章で Transformer ブロックを通り抜けます。説明していないことを前提にはしません。

難しさをごまかさないことが約束です。ある仕組みが直感に反するときは、なめらかに言い換えるのではなく、そのままそう書きます。

形式の面では、Daniel Shiffman の The Nature of Code に多くを負っています。操作できるスケッチを学びの単位にすること、開かれた語り口、そして次に進む前に1つの概念を面白くするだけの根気です。

内容の面では、Jay Alammar、Distill、Anthropic による解釈可能性の研究が、研究室の外からは見えにくかった仕組みを読み解けるものにしてくれました。このサイトが説明しようとしているのも、まさにその仕組みです。