关于
Dimitri Mérault
我从2009年开始开发iOS应用——几乎是从App Store诞生之初。Step by Token 是另一种类型的项目：源于我对LLMs的兴趣，以及一个信念——解释它们是真正理解它们的最好方式。
当语言模型开始融入我的日常生活时，我想超越那些模糊的比喻。构建这个网站上的可视化内容迫使我深入研究其中的机制——这正是我学得最透彻的方式。
我喜欢做工精良的界面和诚实的讲解。Step by Token 力求两者兼备。
姊妹项目
Step by Token 讲解它是如何运作的。The Loss Curve 展示如何亲手造一个。
两个网站可以对照着读，但彼此并不依赖。在这里，你通过操作可视化来建立机制层面的直觉；在那边，你亲手写代码、在浏览器里跑起来，最后带走一个正在你自己机器上训练的小型 transformer。
方法
每一章都从具体的直觉出发，而不是从公式出发。只要一个概念能用交互的方式展示，就一定展示：21 章每章至少有一个可操作的可视化——而正是在动手做这些可视化的过程中，我才真正弄懂了自己在讲什么。
整条路径是层层累积的。第 02 章的 token 在第 03 章变成向量，在第 04 章互相观察，在第 05 章穿过一个 Transformer 块。凡是还没讲过的，都不会被默认为已知。
我的承诺是绝不在难度上偷工减料：当一个机制违反直觉时，正文会如实说明，而不是把它抹平。
灵感来源
形式上，本站深受 Daniel Shiffman 的 The Nature of Code 影响：把可操作的草图当作教学单元，语气开放，并且有耐心把一个概念讲得有意思之后再进入下一个。
内容上，Jay Alammar、Distill 和 Anthropic 在可解释性方面的工作，让实验室之外的人也能读懂那些机制——本站试图接着讲的正是这些机制。
致谢
使用 Next.js、React、Tailwind CSS 和 MDX 构建。所有可视化都用原生 SVG 和 CSS 编写，没有使用任何图表库。
字体：Inter 和 JetBrains Mono，通过 next/font 加载。