Come sappiamo che un modello è migliore?

Come sapere se un modello è buono?

Sembra una domanda semplice. La risposta è complicata.

Per un algoritmo di ordinamento è facile: ordina correttamente? In quanto tempo? Per un modello linguistico, "buono" può voler dire: preciso, onesto, utile, innocuo, divertente, conciso, creativo… e queste qualità non vanno sempre nella stessa direzione.

La valutazione degli LLM è un campo di ricerca a sé. Ogni benchmark cattura qualcosa di vero e manca qualcosa di importante.

Benchmark automatici

MMLU — L'ampiezza delle conoscenze

MMLU (Massive Multitask Language Understanding) testa 57 discipline accademiche: medicina, diritto, chimica, storia, matematica, filosofia… Sono quiz a scelta multipla con quattro opzioni, valutati automaticamente.

I riferimenti umani vengono spesso citati male. Umani non specialisti si attestano attorno al 35%: 57 discipline, nessuno le padroneggia tutte. Il ~90% che si vede circolare ovunque è la stima per gli esperti di ciascun dominio: un medico sulle domande di medicina, un giurista su quelle di diritto.

I modelli di punta hanno superato quella soglia. Ed è precisamente il problema: MMLU è oggi saturo, non distingue più i modelli migliori, e la comunità è passata a test più duri (MMLU-Pro, GPQA, Humanity's Last Exam). Torniamo su questo ciclo più sotto.

Cosa misura: l'ampiezza delle conoscenze salvate nei parametri.
Cosa manca: la capacità di ragionare su situazioni nuove, ammettere l'incertezza, rilevare una domanda mal posta.

HumanEval — Il codice

164 problemi di programmazione Python. Il modello genera una funzione, i test unitari automatici verificano che funzioni. La metrica standard è pass@k: si generano k proposte per problema (spesso k=1 o k=10), e si conta un successo non appena almeno una passa i test. pass@1 misura l'affidabilità, pass@10 la capacità grezza.

Cosa misura: la capacità di produrre codice funzionante su problemi ben definiti.
Cosa manca: la realtà dello sviluppo — capire un bug in un codebase da 50.000 righe, refactorare, documentare.

MATH & GSM8K — La matematica

MATH: 12.500 problemi di matematica livello liceo/olimpiadi, in LaTeX. GSM8K: 8.500 problemi aritmetici in linguaggio naturale.

Cosa misura: il ragionamento matematico multi-step.
Cosa manca: la creatività matematica, la prova formale, la scoperta.

Il benchmark umano: LMArena

L'Arena è diversa. Umani anonimi fanno qualsiasi domanda a due modelli (mostrati senza nome), leggono le due risposte e scelgono quella preferita. Il punteggio ELO deriva da milioni di questi duelli.

È l'unico benchmark che misura ciò che gli umani preferiscono davvero — in tutta la loro soggettività. Lunghezza ideale, tono, formato, umorismo, onestà percepita.

Cosa misura: la preferenza umana globale.
Cosa manca: la precisione fattuale (gli umani non sanno sempre quale risposta è corretta), i compiti specializzati, la riproducibilità.

Esplora il radar

Ecco cinque modelli confrontati su sei benchmark — tra cui BBH (Big-Bench Hard), una selezione dei compiti di ragionamento su cui i modelli ancora fallivano quando il benchmark è stato costruito. Clicca su un modello per vedere i punteggi dettagliati, o su un benchmark per capire cosa valuta.

È un'istantanea del 2024, non la classifica di oggi. I modelli sono cambiati, e diversi di questi benchmark sono nel frattempo saturi. La lasciamo così com'è perché ciò che mostra — profili di forza diversi, nessun vincitore su tutte le righe — resta vero a ogni generazione.

Ogni asse è un benchmark. I modelli hanno profili diversi — forte nel codice, debole nel ragionamento lungo, o viceversa. Nessun radar dà il verdetto finale: bisogna incrociare benchmark oggettivi e preferenze umane per giudicare un LLM.

Cosa rivela il radar

Guarda attentamente i pattern:

Nessun modello dominante. In questa istantanea Claude 3.5 Sonnet guida su HumanEval e BBH, GPT-4o domina Arena e MATH, Llama 3.1 70B regge il confronto senza mai passare davanti. I nomi da allora sono cambiati; la forma del grafico, invece, si ripete a ogni generazione.

Arena e benchmark accademici non correlano perfettamente. Un modello può essere eccellente in MMLU e medio in Arena — e viceversa. Gli umani apprezzano altro oltre alla precisione accademica.

I benchmark si saturano. MMLU era difficile nel 2020 (GPT-3: 43%). Quattro anni dopo tutti i grandi modelli si tenevano tra 82 e 89%, e oggi i migliori superano la soglia degli esperti umani. Lo stesso vale per HumanEval, dove la frontiera è sopra il 95%. Quando tutti hanno quasi tutto giusto, il benchmark non classifica più nulla: la differenziazione si sposta verso test più duri (MMLU-Pro, GPQA, SWE-bench, HLE).

I problemi fondamentali della valutazione

Contaminazione dei dati

Se i dati di addestramento contengono le risposte dei benchmark, il modello ha "barato" senza saperlo. È un problema serio con dataset pubblici come MMLU.

La soluzione: benchmark privati, aggiornati regolarmente, con domande che non circolano online. Difficile da mantenere su larga scala.

Benchmark hacking

Alcuni lab ottimizzano i modelli sui benchmark invece che per le capacità che dovrebbero misurare. Un modello può imparare a riconoscere il formato di una domanda MMLU senza capire davvero la materia.

È il problema di Goodhart: quando una misura diventa un obiettivo, smette di essere una buona misura.

La questione della preferenza umana

L'Arena soffre di un bias: gli umani tendono a preferire risposte lunghe e formattate (liste, titoli, esempi) anche quando una risposta breve sarebbe più utile. I modelli che imparano a ottimizzare l'Arena diventano prolissi.

Cosa nessun benchmark misura

• La capacità di rilevare una domanda ambigua e chiedere chiarimenti.
• L'onestà: saper dire "non lo so" invece di inventare.
• La coerenza su conversazioni lunghe.
• Il ragionamento causale su situazioni davvero nuove.
• L'adattamento al contesto dell'utente.

Queste qualità sono difficili da misurare automaticamente — eppure spesso sono quelle che contano di più in pratica.

Verso nuovi paradigmi di valutazione

La ricerca esplora diverse direzioni:

LLM-as-a-judge: usare un LLM potente per valutare le risposte di un altro. Scalabile, ma circolare: i bias del giudice contaminano la valutazione.

Benchmark avversariali: umani cercano attivamente di mettere in trappola i modelli. Misurano la robustezza, non solo le capacità in condizioni normali.

Valutazione su compiti reali:

• SWE-Bench — veri bug GitHub da correggere in codebase esistenti. Il modello riceve un repository, una descrizione del bug, e deve produrre una patch che passi i test. Molto più duro di HumanEval.
• GAIA — domande multi-step che richiedono ragionamento, ricerca web, manipolazione di file. Misura la capacità agentica.
• GPQA (Graduate-Level Google-Proof QA) — domande di fisica, chimica, biologia a livello dottorale, pensate perché non si possa rispondere tramite ricerca su Google. Distingue i modelli che ragionano da quelli che recuperano.
• ARC-AGI — puzzle visivi astratti, pensati per misurare il ragionamento generale su concetti nuovi. Nessun modello aveva superato una soglia umana prima di fine 2024.
• Humanity's Last Exam — domande al livello dei migliori ricercatori mondiali, in domini in cui i benchmark classici sono saturi.

Valutazione continua e automatica: sistemi che generano continuamente nuove domande per seguire l'evoluzione dei modelli.

La regola d'oro

Nessun singolo benchmark ti dirà se un modello è adatto al tuo caso d'uso.

La migliore valutazione resta sempre la stessa: costruisci un dataset dei tuoi casi d'uso reali, valuta i modelli su quello e confronta ciò che conta per te — non ciò che conta per le classifiche.

I benchmark sono proxy. L'unico vero test è il tuo problema.

Queste classifiche hanno comunque messo in evidenza qualcosa di inatteso. Sui test più duri — GPQA, ARC-AGI, la matematica da olimpiadi — uno stesso modello può passare da mediocre a eccellente senza che si sia toccato un solo peso. L'unica variabile che cambia è il tempo che gli si lascia per riflettere prima di rispondere. Come si guadagnano punti pensando più a lungo? Capitolo successivo.

Aggiornato il 2 agosto 2026