Über mich
Dimitri Mérault
Ich entwickle iOS-Apps seit 2009 — fast seit den Anfängen des App Store. Step by Token ist eine andere Art von Projekt: entstanden aus meinem Interesse an LLMs und der Überzeugung, dass das Erklären die beste Methode ist, sie wirklich zu verstehen.
Als Sprachmodelle anfingen, Teil meines Alltags zu werden, wollte ich über die vagen Metaphern hinausgehen. Die Visualisierungen für diese Website zu bauen hat mich gezwungen, die Mechanismen im Detail zu durchdringen — so habe ich am besten gelernt.
Ich schätze gut gemachte Interfaces und ehrliche Erklärungen. Step by Token versucht, beides zugleich zu sein.
Das Schwesterprojekt
Step by Token erklärt, wie es funktioniert. The Loss Curve zeigt, wie man eines baut.
Die beiden Seiten sind dafür gedacht, zusammen gelesen zu werden, ohne dass eine die andere voraussetzt. Hier bedienst du Visualisierungen, um eine mechanische Intuition zu entwickeln; dort schreibst du den Code, lässt ihn im Browser laufen und gehst am Ende mit einem kleinen Transformer nach Hause, der auf deiner eigenen Maschine trainiert.
Die Methode
Jedes Kapitel beginnt bei einer konkreten Intuition, nie bei einer Formel. Wenn sich ein Konzept interaktiv zeigen lässt, wird es gezeigt: Jedes der 21 Kapitel hat mindestens eine bedienbare Visualisierung — und beim Bauen habe ich am besten verstanden, was ich da eigentlich beschreibe.
Der Weg ist kumulativ. Die Tokens aus Kapitel 02 werden in 03 zu Vektoren, schauen sich in 04 gegenseitig an und durchlaufen in 05 einen Transformer-Block. Nichts wird vorausgesetzt, bevor es erklärt wurde.
Das Versprechen lautet, bei der Schwierigkeit nie zu schummeln: Wenn ein Mechanismus kontraintuitiv ist, sagt der Text es, statt ihn glattzubügeln.
Inspirationen
Die Form verdankt sehr viel The Nature of Code von Daniel Shiffman: bedienbare Skizzen als didaktische Einheit, eine offene Stimme und die Geduld, ein Konzept interessant zu machen, bevor es zum nächsten geht.
Inhaltlich haben die Arbeiten von Jay Alammar, von Distill und von Anthropic zur Interpretierbarkeit genau jene Mechanismen außerhalb der Labore lesbar gemacht, die diese Seite ihrerseits zu erklären versucht.
Credits
Gebaut mit Next.js, React, Tailwind CSS und MDX. Die Visualisierungen sind in purem SVG und CSS geschrieben, ohne Diagrammbibliothek.
Typografie: Inter und JetBrains Mono, ausgeliefert über next/font.