A proposito
Dimitri Mérault
Sviluppo applicazioni iOS dal 2009 — quasi dall'inizio dell'App Store. Step by Token è un altro tipo di progetto: nato dal mio interesse per i LLMs e dalla convinzione che spiegarli sia il modo migliore per capirli davvero.
Quando i modelli linguistici hanno cominciato a far parte della mia quotidianità, ho voluto andare oltre le metafore vaghe. Costruire le visualizzazioni di questo sito mi ha costretto a scavare nei meccanismi in dettaglio — ed è così che ho imparato meglio.
Amo le interfacce ben fatte e le spiegazioni oneste. Step by Token cerca di essere entrambe le cose.
Il progetto gemello
Step by Token spiega come funziona. The Loss Curve mostra come se ne costruisce uno.
I due siti sono pensati per essere letti insieme, senza che l'uno dipenda dall'altro. Qui manipoli visualizzazioni per sviluppare un'intuizione meccanica; là scrivi il codice, lo esegui nel browser e te ne vai con un piccolo transformer che si allena sulla tua macchina.
Il metodo
Ogni capitolo parte da un'intuizione concreta, mai da una formula. Se un concetto si può mostrare in modo interattivo, lo si mostra: ciascuno dei 21 capitoli ha almeno una visualizzazione manipolabile, ed è costruendole che ho capito meglio ciò che stavo descrivendo.
Il percorso è cumulativo. I token del capitolo 02 diventano vettori nel 03, si guardano tra loro nel 04, attraversano un blocco Transformer nel 05. Nulla è dato per acquisito prima di essere stato spiegato.
La promessa è di non barare mai sulla difficoltà: quando un meccanismo è controintuitivo, il testo lo dice invece di smussarlo.
Ispirazioni
La forma deve molto a The Nature of Code di Daniel Shiffman: schizzi manipolabili come unità didattica, una voce aperta e la pazienza di rendere interessante un concetto prima di passare al successivo.
Sul piano dei contenuti, i lavori di Jay Alammar, di Distill e di Anthropic sull'interpretabilità hanno reso leggibili fuori dai laboratori proprio quei meccanismi che questo sito prova a sua volta a spiegare.
Crediti
Costruito con Next.js, React, Tailwind CSS e MDX. Le visualizzazioni sono scritte in puro SVG e CSS, senza librerie di grafici.
Tipografia: Inter e JetBrains Mono, servite tramite next/font.