Perché gli LLM inventano

La critica più frequente

Poni a un LLM una domanda su un argomento di nicchia. Ti risponde con sicurezza: un riferimento bibliografico, una data, una citazione. Verifichi. Il libro non esiste. La data è sbagliata. La citazione non è mai stata pronunciata.

Questo fenomeno ha un nome ufficiale — allucinazione — ed è probabilmente la prima cosa che si rimprovera agli LLM. Non un bug occasionale: una proprietà strutturale. Per capire perché, bisogna tornare al modo in cui il modello è stato addestrato.

Tre meccanismi che si combinano

1. La cross-entropy non premia l'incertezza. Durante il pre-addestramento (capitolo 06), l'obiettivo è minimizzare la log-probabilità negativa del token corretto — ossia massimizzare la probabilità che gli assegna. In nessun momento il modello impara a dire « non lo so »: impara a predire sempre qualcosa, il più plausibile possibile. Se la risposta giusta non è nei suoi pesi, produce la stringa più verosimile, non un'ammissione di ignoranza.

2. Il RLHF premia la sicurezza più dell'onestà. Durante l'allineamento (capitolo 08), degli umani classificano le risposte. In media, preferiscono una risposta sicura e ben formulata a un « non sono sicuro ». Il reward model apprende questo bias, e l'LLM impara a sembrare sicuro — anche quando non lo è.

3. Nessun ciclo di verifica interna. Un umano che inventa una citazione si ferma, dubita, va a verificare. Un LLM che genera token per token non ha questo meccanismo. Avanza, senza controllo esterno, e ogni token genera il successivo nella stessa logica di plausibilità.

Un'allucinazione non è un bug. È ciò che succede quando un sistema addestrato a produrre sempre testo plausibile incontra una domanda la cui risposta non è nei suoi pesi.

Il problema della calibration

Un modello ben calibrato è un modello la cui sicurezza dichiarata corrisponde alla probabilità di essere corretto. Se dice « sono sicuro all'80 % », dovrebbe avere ragione circa l'80 % delle volte.

Gli LLM grezzi (prima del RLHF) sono sorprendentemente ben calibrati sulle loro probabilità interne. Ma l'allineamento decalibra il modello: premiando la sicurezza, lo si allontana dalla verità statistica delle sue stesse predizioni.

È ciò che spiega la modalità « allucinare con aplomb »: non è che il modello non sappia di non sapere. È che il suo addestramento lo ha spinto a mascherare questa incertezza.

Scegli una domanda qui sotto e confronta due numeri: la sicurezza dichiarata dal modello e la probabilità reale che abbia ragione. Resta prima in modalità Grezzo, poi attiva + RAG o + Ragionamento e guarda come si muove lo scarto.

Il modello assegna una probabilità a ciascuna delle sue affermazioni. Un'affermazione falsa ma coerente riceve spesso un punteggio alto: questo è il meccanismo strutturale delle allucinazioni, non un bug puntuale che una patch può correggere.

Lo scarto tra i due numeri è tutta la storia di questo capitolo. Su una domanda fattuale comune è quasi nullo: il modello sa, e la sua sicurezza lo riflette. Su una domanda la cui risposta non è nei suoi pesi, la sicurezza dichiarata resta alta mentre la probabilità reale crolla: è esattamente questo, un'allucinazione vista da dentro. E noterai che le contromisure riducono lo scarto senza mai richiuderlo. Tieni a mente questo punto, comanda tutto ciò che segue: le allucinazioni non si eliminano, si contengono.

Quattro famiglie di contromisure

Le allucinazioni non spariscono con un allineamento migliore. Sono strutturali. Per ridurle in pratica, servono leve sistemiche, non solo un modello migliore.

1. Connettere il modello a degli strumenti (capitolo 11)

La regola: tutto ciò che un LLM fa male, lo si delega a un sistema deterministico. Calcolare una derivata? Code interpreter. Recuperare una quotazione di borsa? API. Verificare che un file esista? File system tool. Il modello non tenta più di indovinare il risultato — lo osserva.

Effetto: le allucinazioni sui domini coperti dagli strumenti crollano — senza sparire del tutto, perché il modello può ancora formulare male la chiamata o leggere male il risultato. Le allucinazioni sugli altri domini restano.

2. RAG (capitolo 10)

Invece di chiedere al modello ciò che si ricorda di un argomento, gli si danno fonti affidabili al momento di rispondere. Le allucinazioni bibliografiche o fattuali diminuiscono fortemente, perché il modello può citare ciò che legge, non solo ciò che immagina.

Limite: se le fonti sono cattive o mal recuperate, il modello allucina sul loro contenuto. E anche con buone fonti, può sovra-estrapolare (« la fonte dice X, quindi necessariamente Y »).

3. Ragionamento esteso (capitolo 17)

Un modello che si prende il tempo di verificare la propria bozza prima di rispondere sbaglia meno. I modelli di ragionamento generano una catena di pensiero invisibile, in cui possono ricalcolare, contraddire un passaggio, ripartire da un'altra pista. o1 e DeepSeek-R1 hanno aperto la strada nel 2024-2025; oggi tutti i grandi modelli propongono una modalità di questo tipo.

È imperfetto — un modello può allucinare dentro il proprio ragionamento anche — ma il semplice fatto di srotolare i passaggi cattura una parte significativa degli errori.

4. Fine-tuning esplicito sull'incertezza

L'angolo più promettente sul lato ricerca: addestrare il modello all'abstention. Gli si mostrano coppie (domanda, risposta) dove, quando la probabilità interna è bassa, la risposta giusta è « non lo so » o « non ho l'informazione ». Il modello impara a riconoscere il proprio livello di sicurezza, e a comunicarlo.

Il paper « Why Language Models Hallucinate » (OpenAI, 2025) ha reso popolare la spiegazione del blocco: le nostre valutazioni sono binarie — giusto o sbagliato — e non assegnano alcun punto a un « non lo so ». Tirare a indovinare rende quindi sempre più che astenersi. Da allora, l'addestramento all'astensione e alla calibrazione è entrato nelle ricette di post-training dei grandi lab (OpenAI, Anthropic, DeepMind). I progressi sono misurabili, ma il problema non è risolto: finché i benchmark premiano il bluff, i modelli bluffano.

Rilevare un'allucinazione in pratica

Qualche euristica utile dal lato utente:

• Chiedi delle fonti. Se il modello non può citare le sue fonti, o le inventa, tratta la risposta come sospetta.
• Verifica ciò che è specifico. Nomi propri, date, cifre esatte, citazioni sono le zone a rischio. Il contenuto generale è spesso OK.
• Riformula la domanda diversamente. Un modello che inventa dà spesso risposte coerenti alla stessa domanda riformulata — ma incoerenti a riformulazioni molto diverse.
• Chiedi al modello il suo livello di sicurezza. Imperfetto, ma correlato alla qualità reale della risposta, soprattutto sui modelli recenti.
• Incrocia con un altro modello. Le allucinazioni sono raramente le stesse da un modello all'altro. Una risposta su cui convergono due modelli di famiglie diverse ha molte più probabilità di essere corretta.

Cosa ricordare

Tre cose.

Una. Le allucinazioni non sono un difetto del modello: sono la conseguenza del suo obiettivo di addestramento. Nessun fine-tuning superficiale le fa sparire.

Due. Le contromisure che funzionano in produzione sono sistemiche (RAG, strumenti, ragionamento, abstention). Nessuna è perfetta isolata; combinate, riportano il tasso di allucinazione a un livello accettabile per la maggior parte dei casi.

Tre. Per l'utente finale, la migliore difesa resta non fidarsi ciecamente, soprattutto sui dettagli precisi (fonti, date, cifre). Un LLM che ti risponde con aplomb non è una prova che abbia ragione.

Chiedere a un LLM « sei sicuro? » non è una verifica. È solo un'altra generazione di testo plausibile.

Di queste quattro contromisure, una sola tocca il modello stesso: riaddestrarlo, all'astensione come a qualsiasi altra cosa. Solo che un modello da 70 miliardi di parametri costa decine di migliaia di dollari per essere riaddestrato per intero — e nessuno lo fa per aggiustare un tono o coprire un dominio. Come si specializza un modello senza toccarlo davvero? Risponde il capitolo successivo.

Aggiornato il 2 agosto 2026