Plus grand, toujours meilleur ?

Une intuition trompeuse

Pendant des années, l'industrie de l'IA a vécu sur une croyance simple : un modèle deux fois plus grand est meilleur. GPT-2 (1,5 milliard de paramètres) a été dépassé par GPT-3 (175 milliards). PaLM, Megatron, Gopher — la course aux paramètres semblait sans fin.

Puis, en 2022, une équipe de DeepMind a publié un papier qui a tout changé. Leur thèse : les grands modèles de l'époque étaient massivement sous-entraînés. Pas trop petits — sous-alimentés en données.

Le modèle qui démontrait cette thèse s'appelait Chinchilla.

La loi de Kaplan : la première formulation

En 2020, OpenAI publie un papier de Jared Kaplan et collègues — "Scaling Laws for Neural Language Models" — qui montre quelque chose de remarquable. Sur des dizaines de modèles entraînés à différentes tailles, la perte de validation suit une loi de puissance simple :

L ≈ L∞ + (C₀ / C)^α

Décodage de la formule :

• C — le compute total injecté dans l'entraînement (en FLOPs).
• L — la perte de validation à la fin.
• L∞ — la perte irréductible : la limite en dessous de laquelle on ne peut pas descendre, même avec un compute infini. C'est l'entropie naturelle du langage humain — il y a toujours une part d'imprévisibilité dans le mot suivant.
• C₀ — une constante de normalisation qui dépend de l'architecture.
• α ≈ 0,05 — l'exposant de la loi de puissance.

En clair : doubler le compute réduit la perte d'une quantité prévisible. La loi est étonnamment robuste sur 7 ordres de grandeur.

Kaplan en tire une conclusion qui guidera l'industrie pendant deux ans : étant donné un budget de compute, allouez la majorité à la taille du modèle, peu aux données.

C'est ce qu'OpenAI a fait avec GPT-3. 175 milliards de paramètres, mais « seulement » 300 milliards de tokens d'entraînement.

Chinchilla casse la baraque

En 2022, Hoffmann et al. (DeepMind) refont l'expérience avec une méthodologie différente. Au lieu de fixer la taille du modèle et de varier le compute, ils explorent systématiquement le plan (N, D) à compute constant.

Leur conclusion contredit directement Kaplan : N et D doivent croître à la même vitesse. Pour minimiser la perte étant donné un budget de compute fixe, il faut entraîner un modèle de taille modeste sur beaucoup de données.

Plus précisément, le ratio optimal est :

D ≈ 20 × N

Pour un modèle de 70 milliards de paramètres, l'optimum est de l'ordre de 1,4 trillion de tokens (1 400 milliards). GPT-3 (175 milliards de paramètres, 300 milliards de tokens) avait un ratio de 1,7 — une douzaine de fois moins que l'optimum.

DeepMind l'a prouvé en entraînant Chinchilla : 70 milliards de paramètres, 1,4 trillion de tokens. Plus petit que GPT-3, plus de tokens, et meilleur sur tous les benchmarks.

La carte du compute

Deux curseurs, un point sur la carte. Place-le d'abord sur un gros modèle peu nourri (N élevé, D faible), puis fais l'inverse. Surveille le Ratio D / N et la perte estimée à chaque déplacement : tout le débat entre Kaplan et Chinchilla tient dans ce que fait ce chiffre quand tu bouges.

Sur le graphe log-log, la perte décroît en loi de puissance avec le compute. Les sliders N (paramètres) et D (tokens) montrent l'iso-compute curve : pour un budget donné, il existe un ratio N/D optimal — environ 20 tokens par paramètre selon Chinchilla.

Bouge le point pour explorer le plan (N, D). La diagonale Chinchilla est la ligne où chaque dollar de compute est dépensé optimalement. Au-dessus, on a entraîné trop longtemps un modèle trop petit ; en-dessous, on a fait l'inverse.

Tu remarqueras quelque chose d'intéressant : LLaMA-3 est très au-dessus de la diagonale. Avec 70 milliards de paramètres entraînés sur 15 trillions de tokens en 2024, son ratio est de 214 — dix fois plus que l'optimum Chinchilla. C'était frappant à l'époque ; depuis, la tendance au sur-entraînement s'est encore accentuée, et les petits modèles dépassent couramment ce ratio.

Pourquoi ? Parce que Meta a optimisé pour autre chose que l'efficacité du compute d'entraînement. Ils ont optimisé pour le coût d'inférence. Un modèle plus petit entraîné plus longtemps coûte plus cher à entraîner (un peu) mais beaucoup moins cher à servir en production. Sur des milliards de requêtes, l'économie est massive.

Au-delà des paramètres : la qualité des données

Les lois d'échelle ne sont pas la fin de l'histoire. Plusieurs limites apparaissent.

La quantité de données de haute qualité est finie. Common Crawl, Wikipedia, GitHub, ArXiv, livres scannés — l'inventaire de texte vraiment propre sur Internet n'est pas infini. On a longtemps annoncé un « mur des données » imminent : entraîner un modèle de 1 trillion de paramètres à l'optimum Chinchilla demanderait 20 trillions de tokens. Ce mur recule. Le filtrage de qualité (FineWeb et ses successeurs), le multilingue, la répétition contrôlée sur plusieurs epochs et les données synthétiques ont rendu courants les entraînements à 15 ou 30 trillions de tokens. Ce qui manque, ce n'est plus le texte — c'est le bon texte.

La qualité bat la quantité, mais seulement jusqu'à un point. Filtrer un corpus pour ne garder que les données de haute qualité (manuels, livres techniques, code propre) améliore le modèle plus que d'ajouter des données médiocres. Mais le filtrage trop agressif finit par appauvrir la distribution et nuire à la généralisation.

Les capacités émergentes brouillent la courbe. Pour certaines tâches (raisonnement multi-étapes, mathématiques complexes, instructions rares), la performance reste plate jusqu'à un certain seuil de taille — puis monte brutalement. Ces "emergent abilities" sont controversées : certains chercheurs (Schaeffer et al., 2023) montrent qu'elles disparaissent quand on choisit une métrique plus continue. Mais le phénomène pratique reste : les petits modèles ne savent pas faire certaines choses, peu importe le fine-tuning.

La leçon pratique

Tu n'entraîneras probablement jamais de modèle toi-même. Mais ces lois expliquent la forme du paysage dans lequel tu choisis les tiens.

Pourquoi les modèles que tu utilises sont petits et sur-entraînés. À budget de compute fixé, l'optimum d'entraînement est un ratio D/N proche de 20. Presque plus personne ne s'y tient — et c'est délibéré. Un modèle plus petit nourri plus longtemps coûte un peu plus cher à entraîner, mais beaucoup moins cher à servir. Sur des milliards de requêtes, c'est ce second poste qui décide. D'où les 8B et les 70B partout, entraînés bien au-delà de Chinchilla, plutôt que des monstres à 500 milliards de paramètres.

Pourquoi un petit modèle bute sur certaines tâches, quoi que tu fasses. Les capacités émergentes n'apparaissent qu'au-delà d'un seuil de taille. Si un modèle échoue sur toute une classe de problèmes, aucun prompt et aucun fine-tuning ne le rattraperont : il faut changer de modèle, pas de méthode.

Pourquoi les nouvelles générations progressent sans grossir. Depuis quelques années, la marge ne vient plus des paramètres mais des données : filtrage, diversité, qualité. Un modèle de même taille que celui d'il y a un an peut être nettement meilleur sans avoir gagné un seul paramètre — c'est ce qu'il a lu qui a changé.

Les lois d'échelle ne disent pas qu'il faut grossir indéfiniment. Elles disent qu'il y a un ratio juste entre paramètres et données — et qu'on a passé des années à se tromper de côté.

Reste que ces lois décrivent une courbe, pas un mécanisme. Elles prédisent qu'un modèle mieux nourri se trompera moins, sans rien dire de ce qu'il aura appris pour y arriver. Que contiennent réellement ces milliards de paramètres — y a-t-il quelque chose de lisible là-dedans, ou juste une bouillie de nombres qui marche ? Le chapitre suivant essaie d'ouvrir la boîte.

Mis à jour le 2 août 2026