Pourquoi les LLMs inventent

La critique la plus fréquente

Tu poses à un LLM une question sur un sujet pointu. Il te répond avec aplomb : une référence bibliographique, une date, une citation. Tu vérifies. Le livre n'existe pas. La date est fausse. La citation est inventée.

Ce phénomène a un nom officiel — hallucination — et c'est probablement la première chose qu'on reproche aux LLMs. Pas un bug occasionnel : une propriété structurelle. Pour comprendre pourquoi, il faut revenir à la façon dont le modèle a été entraîné.

Trois mécanismes qui se combinent

1. La cross-entropy ne récompense pas l'incertitude. Pendant le pré-entraînement (chapitre 06), l'objectif est de minimiser la log-probabilité négative du token correct — autrement dit de maximiser la probabilité qu'il lui attribue. À aucun moment le modèle n'apprend à dire « je ne sais pas » : il apprend à toujours prédire quelque chose, le plus plausible possible. Si la bonne réponse n'est pas dans ses poids, il produit la chaîne la plus vraisemblable, pas un aveu d'ignorance.

2. Le RLHF récompense la confiance plus que l'honnêteté. Pendant l'alignement (chapitre 08), des humains classent les réponses. En moyenne, ils préfèrent une réponse confiante et bien tournée à un « je ne suis pas sûr ». Le reward model apprend ce biais, et le LLM apprend à avoir l'air sûr — même quand il ne l'est pas.

3. Pas de boucle de vérification interne. Un humain qui invente une citation s'arrête, doute, va vérifier. Un LLM générant token par token n'a pas ce mécanisme. Il avance, sans contrôle externe, et chaque token engendre le suivant dans la même logique de plausibilité.

Une hallucination n'est pas un bug. C'est ce qui se passe quand un système entraîné à toujours produire du texte plausible tombe sur une question dont la réponse n'est pas dans ses poids.

Le problème de calibration

Un modèle bien calibré est un modèle dont la confiance affichée correspond à la probabilité d'être correct. S'il dit « je suis sûr à 80 % », il devrait avoir raison environ 80 % du temps.

Les LLMs bruts (avant RLHF) sont étonnamment bien calibrés sur leurs probabilités internes. Mais l'alignement décalibre le modèle : en récompensant la confiance, on l'éloigne de la vérité statistique de ses propres prédictions.

C'est ce qui explique le mode « hallucinate avec aplomb » : ce n'est pas que le modèle ne sait pas qu'il ne sait pas. C'est que son entraînement l'a poussé à masquer cette incertitude.

Choisis une question ci-dessous et compare deux chiffres : la confiance affichée par le modèle, et la probabilité réelle qu'il ait raison. Reste d'abord en mode Brut, puis active + RAG ou + Raisonnement et regarde l'écart bouger.

Le modèle attribue une probabilité à chacune de ses affirmations. Une affirmation fausse mais cohérente reçoit souvent un score élevé : c'est le mécanisme structurel des hallucinations, pas un bug ponctuel qu'un patch peut corriger.

L'écart entre les deux chiffres, c'est toute l'histoire de ce chapitre. Sur une question factuelle courante, il est quasi nul — le modèle sait, et sa confiance le reflète. Sur une question dont la réponse n'est pas dans ses poids, la confiance affichée reste haute pendant que la probabilité réelle s'effondre : c'est exactement ça, une hallucination, vue de l'intérieur. Et tu remarqueras que les contre-mesures réduisent l'écart sans jamais le refermer. Retiens ce point, il commande tout ce qui suit : on ne supprime pas les hallucinations, on les contient.

Quatre familles de contre-mesures

Les hallucinations ne disparaissent pas avec un meilleur alignement. Elles sont structurelles. Pour les réduire en pratique, il faut des leviers systémiques, pas seulement un meilleur modèle.

1. Connecter le modèle à des outils (chapitre 11)

La règle : tout ce qu'un LLM fait mal, on le délègue à un système déterministe. Calculer une dérivée ? Code interpreter. Récupérer un cours de bourse ? API. Vérifier qu'un fichier existe ? File system tool. Le modèle ne tente plus de deviner le résultat — il l'observe.

Effet : les hallucinations sur les domaines couverts par les outils s'effondrent — sans disparaître tout à fait, le modèle pouvant encore mal formuler son appel ou mal lire le résultat. Les hallucinations sur les autres domaines restent.

2. RAG (chapitre 10)

Plutôt que de demander au modèle ce qu'il se souvient d'un sujet, on lui donne des sources fiables au moment de répondre. Les hallucinations bibliographiques ou factuelles diminuent fortement, parce que le modèle peut citer ce qu'il lit, pas seulement ce qu'il imagine.

Limite : si les sources sont mauvaises ou mal récupérées, le modèle hallucine sur leur contenu. Et même avec de bonnes sources, il peut sur-extrapoler (« la source dit X, donc forcément Y »).

3. Raisonnement étendu (chapitre 17)

Un modèle qui prend le temps de vérifier son brouillon avant de répondre se trompe moins. Les modèles de raisonnement génèrent une chaîne de pensée invisible, dans laquelle ils peuvent recalculer, contredire une étape, repartir d'une autre piste. o1 et DeepSeek-R1 ont ouvert la voie en 2024-2025 ; aujourd'hui, tous les grands modèles proposent un mode de ce type.

C'est imparfait — un modèle peut halluciner dans son raisonnement aussi — mais le simple fait de dérouler les étapes attrape une partie significative des erreurs.

4. Fine-tuner explicitement sur l'incertitude

L'angle le plus prometteur côté recherche : entraîner le modèle à abstention. On lui montre des paires (question, réponse) où, quand la probabilité interne est faible, la bonne réponse est « je ne sais pas » ou « je n'ai pas l'information ». Le modèle apprend à reconnaître son propre niveau de confiance, et à le communiquer.

Le papier « Why Language Models Hallucinate » (OpenAI, 2025) a popularisé l'explication du blocage : nos évaluations sont binaires — juste ou faux — et n'accordent aucun point à un « je ne sais pas ». Deviner rapporte donc toujours plus que s'abstenir. Depuis, l'entraînement à l'abstention et à la calibration est entré dans les recettes de post-training des grands labs (OpenAI, Anthropic, DeepMind). Les progrès sont mesurables, mais le problème n'est pas résolu : tant que les benchmarks récompensent le bluff, les modèles bluffent.

Détecter une hallucination en pratique

Quelques heuristiques utiles côté utilisateur :

• Demande des sources. Si le modèle ne peut pas citer ses sources, ou les invente, traite la réponse comme suspecte.
• Vérifie ce qui est précis. Les noms propres, dates, chiffres exacts, citations sont les zones à risque. Le contenu général est souvent OK.
• Reformule la question différemment. Un modèle qui invente donne souvent des réponses cohérentes à la même question reformulée — mais incohérentes à des reformulations très différentes.
• Demande au modèle son niveau de confiance. Imparfait, mais corrélé à la qualité réelle de la réponse, surtout sur les modèles récents.
• Croise avec un autre modèle. Les hallucinations sont rarement les mêmes d'un modèle à l'autre. Une réponse sur laquelle deux modèles de familles différentes convergent a beaucoup plus de chances d'être correcte.

Ce qu'il faut retenir

Trois choses.

Une. Les hallucinations ne sont pas un défaut du modèle : c'est la conséquence de son objectif d'entraînement. Aucun fine-tuning superficiel ne les fait disparaître.

Deux. Les contre-mesures qui marchent en production sont systémiques (RAG, outils, raisonnement, abstention). Aucune n'est parfaite isolée ; combinées, elles ramènent le taux d'hallucination à un niveau acceptable pour la plupart des cas.

Trois. Pour l'utilisateur final, la meilleure défense reste de ne pas faire confiance aveuglément, surtout sur les détails précis (sources, dates, chiffres). Un LLM qui te répond avec aplomb n'est pas une preuve qu'il a raison.

Demander à un LLM « es-tu sûr ? » n'est pas une vérification. C'est juste une autre génération de texte plausible.

De ces quatre contre-mesures, une seule touche au modèle lui-même : le réentraîner, à l'abstention comme à n'importe quoi d'autre. Sauf qu'un modèle de 70 milliards de paramètres coûte des dizaines de milliers de dollars à réentraîner en entier — et personne ne fait ça pour ajuster un ton ou couvrir un domaine. Comment spécialise-t-on un modèle sans y toucher vraiment ? Le chapitre suivant répond.

Mis à jour le 2 août 2026