Qu'est-ce qui se passe à l'intérieur ?

Une boîte noire qui marche

Un LLM avec 70 milliards de paramètres est un objet qu'on entraîne, qu'on évalue, qu'on déploie — mais qu'on ne comprend pas vraiment. On sait quels poids il a appris. On sait que ces poids implémentent quelque chose. On ne sait pas quoi.

Pendant longtemps, ça ne semblait pas important. Si ça marche, ça marche. Mais à mesure que les LLMs prennent des décisions à conséquences réelles — code médical, agents autonomes, modération de contenu — la question devient pressante : est-ce qu'on peut ouvrir la boîte ?

C'est l'objet de l'interprétabilité mécaniste. Pas une discipline qui décrit ce que fait un modèle de l'extérieur (ça, c'est le benchmarking), mais une qui cherche à reverser-engineerer les algorithmes implémentés dans les neurones.

Petit vocabulaire pour ce chapitre

Avant de plonger, voici les termes qu'on va croiser. On les développera au fur et à mesure — ce tableau est juste un repère pour ne pas se perdre.

Terme	En une phrase
Feature	Un motif récurrent dans les activations du modèle, qu'on peut souvent associer à un concept humain.
Polysémantique	Un neurone qui s'allume sur plusieurs concepts non liés. La règle, dans un LLM.
Monosémantique	Une "feature" qui répond à un seul concept identifiable. Le but du jeu.
Superposition	Le réseau encode plus de concepts qu'il n'a de neurones, en les empilant.
Circuit	Un sous-graphe du réseau qui implémente une fonction précise.
SAE (Sparse Autoencoder)	La technique qui décompose les activations en features monosémantiques.
Steering	Modifier le comportement du modèle en amplifiant ou supprimant une feature.

Le problème : neurones polysémantiques

Si tu pouvais ouvrir un Transformer et observer un neurone précis, tu espérerais peut-être trouver « le neurone qui détecte les chiens » ou « le neurone qui sait faire de l'addition ». La réalité est plus désordonnée.

Un neurone d'un LLM est typiquement polysémantique : il s'active sur plusieurs concepts non liés. Le même neurone peut fortement répondre à des mentions de chiens, à des verbes au passé, à des questions ouvertes en français, et à des balises HTML. Pourquoi ? Parce que le réseau a beaucoup plus de concepts à représenter qu'il n'a de neurones — il les superpose.

Cette superposition (Elhage et al., 2022) est une découverte clé. Elle explique pourquoi observer un neurone à la loupe ne donne presque jamais de signal interprétable.

La solution : Sparse Autoencoders

Si les concepts sont superposés dans les neurones, alors la bonne base pour les regarder n'est pas l'espace des neurones — c'est un autre espace, plus grand, où chaque dimension correspondrait à un seul concept.

C'est l'idée des Sparse Autoencoders (SAE). On apprend une projection de l'activation interne du modèle vers un espace beaucoup plus large (souvent 10× ou 100× plus large), avec une contrainte de parcimonie : seules quelques dimensions doivent être actives à la fois. Le réseau est forcé à représenter chaque activation comme une combinaison d'un petit nombre de features interprétables.

Anthropic a publié en 2024 un papier marquant ("Scaling Monosemanticity") qui applique cette technique sur Claude 3 Sonnet. Ils ont extrait des millions de features, dont certaines spectaculaires : une feature pour le concept de pont Golden Gate, une pour les bugs de code, une pour la flatterie, une pour la trahison. Ces features sont monosémantiques — chacune correspond à un concept unique et reconnaissable.

Explore par toi-même

Commence par la liste des features : choisis-en une, puis fais défiler les passages — du code, de la prose, un énoncé mathématique. La question à garder en tête : cette feature s'allume-t-elle sur les mêmes mots, ou sur la même idée exprimée différemment ?

Survole un neurone pour voir ce qui l'active. Beaucoup répondent à des concepts sans rapport apparent — c'est la polysémanticité. Les Sparse Autoencoders décomposent ces activations en features humainement interprétables, base de l'interprétabilité mécaniste.

Choisis une feature et regarde sur quels tokens elle s'allume dans différents passages. Tu remarques que certaines features (comme la négation ou les noms propres) traversent les langues et les contextes — ce sont des concepts robustes que le modèle a abstraits.

Les circuits : algorithmes émergents

Au-delà des features, l'interprétabilité étudie les circuits : des sous-graphes du réseau qui implémentent une fonction précise. Un peu comme on identifierait, dans un microprocesseur, le sous-circuit qui fait l'addition.

L'exemple le plus célèbre est l'induction head, découvert par Anthropic en 2022 (Olsson et al.). C'est un mécanisme qui apparaît typiquement dans les couches intermédiaires d'un Transformer, et qui implémente une règle simple : si le modèle a vu le motif AB plus tôt dans le contexte, et qu'il revoit A maintenant, il prédit B.

C'est une forme primitive d'apprentissage en contexte (in-context learning). Avant ce circuit, le modèle ne sait pas exploiter les répétitions du contexte. Après, il devient brutalement plus performant — et cette transition coïncide avec un saut dans les benchmarks de few-shot.

Plusieurs autres circuits ont été identifiés :

• Induction heads — copie de patterns du contexte
• Bracket completion — fermeture cohérente de parenthèses imbriquées
• Indirect object identification — dans "Quand Marie et Jean sont allés au magasin, Jean a donné un verre à…", le circuit prédit Marie, le prénom qui n'a pas déjà servi de sujet
• Feature suppression — un head qui éteint une feature dans certains contextes

Chaque circuit est un petit algorithme que le réseau a découvert tout seul pendant l'entraînement.

Depuis 2025, on ne se contente plus d'isoler un circuit à la main. Anthropic a publié « On the Biology of a Large Language Model » (2025), qui construit des attribution graphs : pour un prompt donné, une carte des features activées et de leur influence les unes sur les autres, sur un modèle de production. On y voit par exemple le modèle choisir la rime d'un vers plusieurs mots à l'avance, ou passer par un concept intermédiaire pour répondre à une question de géographie. Ces cartes s'appuient sur des cousins du SAE — les transcoders, qui modélisent le calcul d'une couche au lieu de reconstruire ses activations, et les crosscoders, qui comparent deux modèles. Et l'outillage est devenu public : n'importe qui peut explorer des features de modèles ouverts sur Neuronpedia.

Pourquoi ça compte pour la sécurité

L'interprétabilité n'est pas qu'une curiosité scientifique. C'est, pour beaucoup de chercheurs, la voie la plus prometteuse pour aligner sérieusement les modèles puissants.

Aujourd'hui, on aligne par RLHF et fine-tuning : on modifie les réponses observables, mais on ne sait pas si le modèle a vraiment internalisé une valeur ou s'il fait simplement semblant en surface. Si on pouvait identifier les features et les circuits responsables, par exemple, du comportement de tromperie, ou du raisonnement moral, on aurait un levier beaucoup plus solide.

Anthropic a montré qu'on peut steerer un modèle directement : en amplifiant artificiellement la feature « pont Golden Gate », ils ont rendu Claude obsédé par ce pont — il l'évoquait à propos de toute question. Démonstration ludique, mais le même mécanisme permettrait, en principe, de supprimer chirurgicalement un comportement dangereux sans dégrader le reste.

Les limites actuelles

L'interprétabilité mécaniste est une discipline jeune. Les difficultés sont nombreuses :

• L'échelle. Un SAE sur Claude 3 a extrait 34 millions de features. Les annoter, les nommer, les comprendre une par une est gigantesque.
• La complétude. On trouve des features. On en rate aussi. Combien de concepts importants nous échappent ?
• La compositionnalité. Comprendre une feature isolée est faisable. Comprendre comment 50 features interagissent pour produire un comportement est beaucoup plus dur.
• La généralisation. Une feature trouvée sur GPT-2 ne se transpose pas mécaniquement sur Claude ou Llama. Chaque modèle est sa propre boîte.
• La méthode elle-même est débattue. Rien ne garantit qu'un SAE retrouve les « vraies » unités de calcul du modèle plutôt qu'un découpage commode ; et le circuit tracing ne produit une explication satisfaisante que sur une fraction des prompts qu'on lui soumet. Le débat sur ce que ces outils mesurent réellement est très actif.

Mais le rythme des publications s'accélère. Anthropic, DeepMind, EleutherAI, OpenAI, Apollo Research, Goodfire, Transluce — des équipes entières se forment autour de ces questions.

Si on veut faire confiance à des modèles toujours plus puissants pour des décisions toujours plus importantes, on aura besoin de mieux que de leur faire passer un examen. On aura besoin de regarder à l'intérieur.

Une remarque pour finir, et elle appelle un dernier chapitre. Tout ce parcours, de la tokenisation aux features, décrit une seule et même famille : des modèles qui prédisent le token suivant. Or les images que produisent Midjourney ou Stable Diffusion ne sortent pas d'une prédiction de token — elles apparaissent d'un coup, partout à la fois. Quelle mécanique peut bien fabriquer une image sans jamais choisir de « prochain » quoi que ce soit ?

Mis à jour le 2 août 2026