Comment sait-on qu'un modèle est meilleur ?

Comment savoir si un modèle est bon ?

C'est une question qui semble simple. La réponse est compliquée.

Pour un algorithme de tri, c'est facile : est-ce qu'il trie correctement ? En combien de temps ? Pour un modèle de langage, "bon" peut vouloir dire : précis, honnête, utile, inoffensif, drôle, concis, créatif… et ces qualités ne sont pas toujours dans la même direction.

L'évaluation des LLMs est un domaine de recherche à part entière. Chaque benchmark capture quelque chose de vrai et rate quelque chose d'important.

Les benchmarks automatiques

MMLU — La largeur des connaissances

MMLU (Massive Multitask Language Understanding) teste 57 disciplines académiques : médecine, droit, chimie, histoire, mathématiques, philosophie… Ce sont des QCM à quatre choix, évalués automatiquement.

Les repères humains sont souvent mal cités. Des humains non spécialistes tournent autour de 35 % — 57 disciplines, personne ne les maîtrise toutes. Les ~90 % qu'on voit passer partout sont l'estimation pour des experts de chaque domaine : un médecin sur les questions de médecine, un juriste sur celles de droit.

Les modèles de pointe ont dépassé cette barre. C'est précisément le problème : MMLU est aujourd'hui saturé, il ne départage plus les meilleurs modèles, et la communauté est passée à des tests plus durs (MMLU-Pro, GPQA, Humanity's Last Exam). On revient sur ce cycle plus bas.

Ce que ça mesure : la largeur des connaissances stockées dans les paramètres.
Ce que ça rate : la capacité à raisonner sur des situations nouvelles, à admettre l'incertitude, à détecter une question mal posée.

HumanEval — Le code

164 problèmes de programmation Python. Le modèle génère une fonction, les tests unitaires automatiques vérifient qu'elle fonctionne. La métrique standard est pass@k : on génère k propositions par problème (souvent k=1 ou k=10), et on compte une réussite dès qu'au moins une passe les tests. pass@1 mesure la fiabilité, pass@10 la capacité brute.

Ce que ça mesure : la capacité à produire du code fonctionnel sur des problèmes bien définis.
Ce que ça rate : la réalité du développement — comprendre un bug dans un codebase de 50 000 lignes, refactorer, documenter.

MATH & GSM8K — Les mathématiques

MATH : 12 500 problèmes de maths niveau lycée/concours, en LaTeX. GSM8K : 8 500 problèmes arithmétiques en langage naturel.

Ce que ça mesure : le raisonnement mathématique multi-étapes.
Ce que ça rate : la créativité mathématique, la preuve formelle, la découverte.

Le benchmark humain : LMArena

L'Arena est différente. Des humains anonymes posent n'importe quelle question à deux modèles (affichés sans nom), lisent les deux réponses, et choisissent leur préférence. Le score ELO résulte de millions de ces duels.

C'est le seul benchmark qui mesure ce que les humains préfèrent vraiment — dans toute leur subjectivité. Longueur idéale, ton, format, humour, honnêteté perçue.

Ce que ça mesure : la préférence humaine globale.
Ce que ça rate : la précision factuelle (les humains ne savent pas toujours quelle réponse est correcte), les tâches spécialisées, la reproductibilité.

Explore le radar

Voici cinq modèles comparés sur six benchmarks — dont BBH (Big-Bench Hard), une sélection des tâches de raisonnement sur lesquelles les modèles échouaient encore quand le benchmark a été construit. Clique sur un modèle pour voir ses scores détaillés, ou sur un benchmark pour comprendre ce qu'il évalue.

C'est un instantané de 2024, pas le classement du jour. Les modèles ont changé, et plusieurs de ces benchmarks sont depuis saturés. Il est gardé tel quel parce que ce qu'il montre — des profils de forces différents, pas de vainqueur sur toutes les lignes — reste vrai à chaque génération.

Chaque axe est un benchmark. Les modèles ont des profils différents — fort en code, faible en raisonnement long, ou l'inverse. Aucun radar ne donne le verdict final : il faut croiser benchmarks objectifs et préférences humaines pour juger un LLM.

Ce que le radar révèle

Regarde attentivement les patterns :

Pas de modèle dominant. Sur cet instantané, Claude 3.5 Sonnet mène sur HumanEval et BBH, GPT-4o domine Arena et MATH, Llama 3.1 70B tient la comparaison sans jamais passer devant. Les noms ont changé depuis ; la forme du graphe, elle, se répète à chaque génération.

Arena et benchmarks académiques ne corrèlent pas parfaitement. Un modèle peut être excellent en MMLU et moyen en Arena — et inversement. Les humains apprécient autre chose que la précision académique.

Les benchmarks se saturent. MMLU était difficile en 2020 (GPT-3 : 43 %). Quatre ans plus tard, tous les grands modèles se tenaient entre 82 et 89 %, et aujourd'hui les meilleurs dépassent la barre des experts humains. Même chose pour HumanEval, où la frontière est au-dessus de 95 %. Quand tout le monde a presque tout juste, le benchmark ne classe plus rien : la différenciation se déplace vers des tests plus durs (MMLU-Pro, GPQA, SWE-bench, HLE).

Les problèmes fondamentaux de l'évaluation

Contamination des données

Si les données d'entraînement contiennent les réponses des benchmarks, le modèle a "triché" sans le savoir. C'est un problème sérieux avec les datasets publics comme MMLU.

La solution : des benchmarks privés, mis à jour régulièrement, dont les questions ne circulent pas en ligne. Difficile à maintenir à grande échelle.

Benchmark hacking

Certains labs optimisent leurs modèles sur les benchmarks plutôt que pour les capacités qu'ils sont censés mesurer. Un modèle peut apprendre à reconnaître le format d'une question MMLU sans vraiment comprendre la matière.

C'est le problème de Goodhart : quand une mesure devient un objectif, elle cesse d'être une bonne mesure.

La question de la préférence humaine

L'Arena souffre d'un biais : les humains ont tendance à préférer les réponses longues et formatées (listes à puces, titres, exemples) même quand une réponse courte serait plus utile. Les modèles qui apprennent à optimiser l'Arena deviennent prolixes.

Ce qu'aucun benchmark ne mesure

• La capacité à détecter une question ambiguë et à demander des clarifications.
• L'honnêteté : savoir dire "je ne sais pas" au lieu d'inventer.
• La cohérence sur des conversations longues.
• Le raisonnement causal sur des situations vraiment nouvelles.
• L'adaptation au contexte de l'utilisateur.

Ces qualités sont difficiles à mesurer automatiquement — et pourtant ce sont souvent celles qui comptent le plus en pratique.

Vers de nouveaux paradigmes d'évaluation

La recherche explore plusieurs directions :

LLM-as-a-judge : utiliser un LLM puissant pour évaluer les réponses d'un autre. Scalable, mais circulaire — les biais du juge contaminent l'évaluation.

Benchmarks adversariaux : des humains cherchent activement à piéger les modèles. Mesurent la robustesse, pas juste les capacités en conditions normales.

Évaluation par tâches réelles :

• SWE-Bench — des vrais bugs GitHub à corriger dans des codebases existants. Le modèle reçoit un dépôt, une description de bug, et doit produire un patch qui passe les tests. Beaucoup plus dur que HumanEval.
• GAIA — questions multi-étapes nécessitant raisonnement, recherche web, manipulation de fichiers. Mesure la capacité agentique.
• GPQA (Graduate-Level Google-Proof QA) — questions de physique, chimie, biologie au niveau doctoral, conçues pour qu'on ne puisse pas y répondre par recherche Google. Distingue les modèles qui raisonnent de ceux qui récupèrent.
• ARC-AGI — des puzzles visuels abstraits, conçus pour mesurer le raisonnement général sur des concepts nouveaux. Aucun modèle n'avait passé un seuil humain avant fin 2024.
• Humanity's Last Exam — questions niveau meilleur chercheur mondial, dans des domaines où les benchmarks classiques sont saturés.

Évaluation continue et automatique : des systèmes qui génèrent en continu de nouvelles questions pour suivre l'évolution des modèles.

La règle d'or

Aucun benchmark unique ne te dira si un modèle est adapté à ton cas d'usage.

La meilleure évaluation reste toujours la même : construis un dataset de tes propres cas d'usage réels, évalue les modèles dessus, et compare sur ce qui compte pour toi — pas sur ce qui compte pour les classements.

Les benchmarks sont des proxies. Le seul vrai test, c'est ton problème.

Ces classements ont quand même mis en évidence quelque chose d'inattendu. Sur les tests les plus durs — GPQA, ARC-AGI, les maths de concours — un même modèle peut passer de médiocre à excellent sans qu'on ait touché à un seul de ses poids. La seule variable qui change, c'est le temps qu'on le laisse réfléchir avant de répondre. Comment gagne-t-on des points en pensant plus longtemps ? Chapitre suivant.

Mis à jour le 2 août 2026