À propos
Dimitri Mérault
Je développe des applications iOS depuis 2009 — presque depuis le début de l'App Store. Step by Token est une autre sorte de projet : né de mon intérêt pour les LLMs, et de la conviction que les expliquer est la meilleure façon de les comprendre vraiment.
Quand les modèles de langage ont commencé à faire partie de mon quotidien, j'ai voulu aller au-delà des métaphores vagues. Construire les visualisations de ce site m'a forcé à creuser les mécanismes en détail — c'est de cette façon que j'ai le mieux appris.
J'aime les interfaces bien faites et les explications honnêtes. Step by Token essaie d'être les deux à la fois.
Le projet jumeau
Step by Token explique comment ça marche. The Loss Curve montre comment on en construit un.
Les deux sites sont pensés pour être lus ensemble, sans que l’un dépende de l’autre. Ici, tu manipules des visualisations pour développer une intuition mécanique ; là-bas, tu écris le code, tu le lances dans le navigateur, et tu repars avec un petit transformer qui s’entraîne sur ta machine.
La méthode
Chaque chapitre part d’une intuition concrète, jamais d’une formule. Si un concept peut se montrer en interactif, il se montre : les 21 chapitres ont chacun au moins une visualisation manipulable, et c’est en les construisant que j’ai le mieux compris ce que je décrivais.
Le parcours est cumulatif. Les tokens du chapitre 02 deviennent des vecteurs au 03, se regardent entre eux au 04, traversent un bloc Transformer au 05. Rien n’est supposé acquis avant d’avoir été expliqué.
La promesse est de ne jamais tricher sur la difficulté : quand un mécanisme est contre-intuitif, le texte le dit plutôt que de le lisser.
Inspirations
La forme doit beaucoup à The Nature of Code de Daniel Shiffman : des croquis manipulables comme unité pédagogique, une voix ouverte, et la patience de rendre un concept intéressant avant de passer au suivant.
Sur le fond, les travaux de Jay Alammar, de Distill et d’Anthropic sur l’interprétabilité ont rendu lisibles hors des laboratoires des mécanismes que ce site essaie d’expliquer à son tour.
Crédits
Construit avec Next.js, React, Tailwind CSS et MDX. Les visualisations sont écrites en SVG et CSS, sans bibliothèque de graphes.
Typographie : Inter et JetBrains Mono, servies via next/font.