Pensare prima di rispondere

La risposta rapida è spesso sbagliata

Qual è l'ultima cifra di 7¹⁰⁰ ?

Se fai questa domanda a un LLM classico, ti risponderà probabilmente « 7 » in una frazione di secondo. Logico : 7 inizia con 7, 7² = 49, e se non si pensa troppo, si suppone che resti 7. La risposta è sbagliata — è 1.

Ma se poni la stessa domanda a un modello di ragionamento, esita. « Riflette » per 10, 20, a volte 60 secondi. E arriva alla risposta giusta. OpenAI ha aperto questa strada con o1 a fine 2024, DeepSeek-R1 l'ha resa pubblica a inizio 2025; oggi tutti i grandi modelli hanno una modalità di questo tipo.

La differenza non sta nell'architettura — è lo stesso Transformer. Sta nel modo in cui il modello è stato addestrato, e in ciò che gli si permette di fare prima di rispondere.

I thinking tokens

Ogni LLM genera token, uno alla volta, da sinistra a destra. Ciò che distingue i modelli di ragionamento è che generano prima una lunga sequenza di token di lavoro — un monologo interno — prima di produrre la risposta finale. A seconda del fornitore, lo vedi per intero, ne vedi solo un riassunto, oppure non lo vedi affatto.

Questi token nascosti si chiamano thinking tokens (o token di riflessione).

Il modello può scriverci qualsiasi cosa : calcoli intermedi, ipotesi che poi smentisce, rami di esplorazione abbandonati, verifiche. È una brutta copia che cancella prima di mostrarti il risultato pulito.

Non è magia. È semplicemente spazio in più per affrontare un problema difficile.

Prova tu stesso

Imposta il budget di riflessione su « Nessuno » poi clicca su « Ragiona ». Osserva la risposta istantanea. Poi passa il budget su « Completo » e rilancia.

I blocchi grigi sono la catena di pensiero interna — il modello formula ipotesi, verifica, a volte torna indietro. Questi thinking token costano in latenza e prezzo, ma sbloccano problemi che la modalità diretta non risolve.

La differenza tra i due non sta nella capacità del modello — sta nel tempo di calcolo all'inferenza che gli viene allocato.

Come funziona tecnicamente

Non è un'architettura diversa. È lo stesso Transformer, lo stesso meccanismo di attention, la stessa generazione autoregressiva.

Ciò che cambia è l'addestramento e il decoding. E, contrariamente a ciò che si immagina, non gli si mostrano migliaia di ragionamenti ben scritti da imitare.

Si fa qualcosa di più furbo: lo si lascia cercare. Il modello produce i propri tentativi, si verifica meccanicamente quali arrivano al risultato giusto — un calcolo si verifica, un programma passa i suoi test — e si rinforzano i percorsi che hanno funzionato. Quei ragionamenti non li ha scritti nessuno: li ha trovati il modello, e si sono tenuti quelli che andavano a buon fine. È l'RLVR descritto al capitolo 08. DeepSeek ha perfino mostrato con R1-Zero che un modello può sviluppare queste strategie partendo da zero, senza un solo esempio di ragionamento annotato.

All'inferenza, gli si dà un budget di thinking tokens — un limite su quanti token nascosti può generare. Più il budget è grande, più può esplorare. E oltre un certo budget, la qualità delle risposte sui compiti difficili smette di aumentare in modo significativo.

Un dettaglio importante : i thinking tokens sono generati prima della risposta, nello stesso flusso di token. Il modello non « riflette » in parallelo — riflette in serie, e ciò costa token come tutto il resto.

Ragionamento esteso vs chain-of-thought

Hai forse visto la tecnica del chain-of-thought (CoT), dove si chiede esplicitamente al modello « pensa passo dopo passo ». È diverso, ma imparentato.

	Chain-of-Thought (con prompt)	Ragionamento esteso (nativo)
Chi lo attiva	L'utente nel prompt	Il modello stesso
Visibilità	Visibile nella risposta	Nascosto (thinking tokens)
Controllo	Si possono guidare le tappe	Il modello sceglie il suo piano
Esempi	GPT-4 con « let's think step by step »	o1, o3, Claude con extended thinking

Anche il CoT con prompt migliora le prestazioni — ma il ragionamento nativo va oltre, perché il modello non è costretto a scrivere un ragionamento leggibile. Può esplorare percorsi di brutta copia, fare calcoli che cancella, contraddirsi e correggersi, tutto questo nello spazio nascosto.

Quando vale la pena

Il ragionamento esteso migliora significativamente le prestazioni su :

• Matematica e logica — dimostrazioni, problemi combinatori, aritmetica esatta
• Codice complesso — debugging multi-file, algoritmi non banali
• Ragionamento strutturato — puzzle, deduzioni concatenate
• Pianificazione — compiti che richiedono di delineare una strategia prima di agire

Per una domanda fattuale semplice (« qual è la capitale della Francia ? »), del testo creativo, o una traduzione, il ragionamento esteso non porta nulla — e costa di più.

Sulle allucinazioni (capitolo 13) l'effetto va detto con precisione, perché l'intuizione inganna. Dove il ragionamento aiuta davvero è sugli errori verificabili: un calcolo sbagliato, una deduzione traballante, un caso dimenticato. Il modello srotola, si rilegge, si corregge.

Sulla fattualità pura — un nome, una data, una citazione — il guadagno non è garantito. OpenAI ha pubblicato misure proprie che mostrano o3 allucinare di più del suo predecessore su certi test di conoscenza. Riflettere più a lungo non fa comparire un'informazione che il modello non ha: gli dà solo più spazio per costruire una storia coerente attorno a ciò che crede di sapere.

Il costo, ecco il vero freno. I thinking tokens sono fatturati come i token normali. Un modello che genera 1.000 token di pensiero prima di rispondere in 30 token te ne fattura 1.030. Su milioni di richieste, fa la differenza.

Test-time compute scaling

Ciò che i modelli di ragionamento hanno messo in evidenza è che si può comprare intelligenza all'inferenza : più si allocano thinking tokens, più le risposte migliorano sui compiti difficili.

È quello che si chiama test-time compute scaling — in opposizione allo scaling abituale che aumenta i parametri del modello durante l'addestramento.

La curva è simile alle leggi di scala classiche : raddoppiare il budget di riflessione migliora le prestazioni, ma con rendimenti decrescenti. A un certo punto, pensare più a lungo non compensa più.

Ed è una scoperta importante : l'intelligenza di un LLM non è una costante fissata dai suoi pesi. Dipende anche dal compute che gli si dà nel momento in cui risponde.

Un modello che riflette a lungo su un problema difficile può superare un modello più grande che risponde in fretta. La velocità non è sempre una virtù.

Ma « riflettere a lungo », concretamente, vuol dire generare migliaia di token uno per uno prima ancora di cominciare la risposta. E al capitolo 09 abbiamo visto che ogni token deve guardare tutti quelli che lo precedono. Se il millesimo token dovesse davvero rileggere tutto da capo, nessuna di queste modalità di ragionamento sarebbe fatturabile. Cosa rende il millesimo token veloce quanto il secondo? Il capitolo successivo apre il cofano dell'inferenza.

Aggiornato il 2 agosto 2026