Sobre
Dimitri Mérault
Desenvolvo aplicativos iOS desde 2009 — quase desde o começo da App Store. Step by Token é um outro tipo de projeto: nasceu do meu interesse pelos LLMs e da convicção de que explicá-los é a melhor forma de realmente compreendê-los.
Quando os modelos de linguagem começaram a fazer parte do meu dia a dia, quis ir além das metáforas vagas. Construir as visualizações deste site me obrigou a mergulhar nos mecanismos em detalhes — foi assim que aprendi melhor.
Gosto de interfaces bem feitas e explicações honestas. Step by Token tenta ser as duas coisas ao mesmo tempo.
O projeto gêmeo
Step by Token explica como funciona. The Loss Curve mostra como se constrói um.
Os dois sites foram pensados para serem lidos juntos, sem que um dependa do outro. Aqui você manipula visualizações para desenvolver uma intuição mecânica; lá você escreve o código, roda no navegador e sai com um pequeno transformer treinando na sua própria máquina.
O método
Cada capítulo parte de uma intuição concreta, nunca de uma fórmula. Se um conceito pode ser mostrado de forma interativa, ele é mostrado: cada um dos 21 capítulos tem pelo menos uma visualização manipulável, e foi construindo-as que entendi melhor o que estava descrevendo.
O percurso é cumulativo. Os tokens do capítulo 02 viram vetores no 03, olham uns para os outros no 04 e atravessam um bloco Transformer no 05. Nada é dado como sabido antes de ter sido explicado.
A promessa é nunca trapacear com a dificuldade: quando um mecanismo é contraintuitivo, o texto diz isso em vez de suavizá-lo.
Inspirações
A forma deve muito a The Nature of Code, de Daniel Shiffman: esboços manipuláveis como unidade pedagógica, uma voz aberta e a paciência de tornar um conceito interessante antes de passar ao seguinte.
No conteúdo, os trabalhos de Jay Alammar, da Distill e da Anthropic sobre interpretabilidade tornaram legíveis fora dos laboratórios justamente os mecanismos que este site tenta explicar por sua vez.
Créditos
Construído com Next.js, React, Tailwind CSS e MDX. As visualizações são escritas em SVG e CSS puros, sem biblioteca de gráficos.
Tipografia: Inter e JetBrains Mono, servidas via next/font.