Predire una parola alla volta

La grande sorpresa

Ecco la cosa più strana dell'IA moderna: tutto ciò che fa un grande modello linguistico si basa su una sola capacità — predire la parola successiva.

Gli dai l'inizio di una frase:

"Il cielo è blu perché…"

Il modello calcola, tra le decine di migliaia di frammenti di parola che conosce, quale sia il più probabile subito dopo. Poi ricomincia con quella nuova parola aggiunta. E ancora. E ancora. Tutto qui.

Da questa operazione minuscola e meccanica emerge tutto il resto: traduzione, sintesi, codice, spiegazioni di fisica quantistica, battute, poesie.

Perché funziona

Per predire bene la parola successiva, bisogna capire moltissime cose sul mondo.

Considera questa frase:

"Il medico ha rimandato l'infermiera a casa sua perché lei…"

Per indovinare cosa viene dopo, il modello deve sapere che "lei" probabilmente si riferisce all'infermiera (e non al medico): deve capire la grammatica, il contesto, forse persino le convenzioni sociali del mestiere medico.

Predire parole significa modellare il mondo che le ha prodotte.

Questa è l'idea centrale. Costringere un sistema a predire testo umano su larga scala significa obbligarlo a imparare, indirettamente, come funziona il mondo in cui quel testo è stato scritto.

Una distribuzione, non una parola

Quando diciamo "il modello predice la parola successiva", è una scorciatoia. In realtà, a ogni passo produce una distribuzione di probabilità su tutto il suo vocabolario: ogni token riceve un punteggio, e la somma fa 1.

Per generare testo, bisogna poi scegliere un token da questa distribuzione. Qui le cose diventano interessanti: lo stesso modello, con lo stesso prompt, può produrre testi molto diversi a seconda della strategia di campionamento usata.

A ogni passo, il modello propone una distribuzione su tutti i token del vocabolario. La barra più alta è raramente l'unico candidato plausibile — è questo che rende la continuazione del testo aperta invece che meccanica.

Tre leve da manipolare qui sopra:

• Temperatura — divide i logits — i punteggi grezzi che il modello assegna a ogni token, prima di qualsiasi normalizzazione — e poi li ripassa nel softmax, la funzione che trasforma quei punteggi in probabilità la cui somma fa 1. A bassa temperatura (0.1-0.3), la distribuzione si concentra sul candidato più probabile: il modello diventa prevedibile, quasi deterministico. Ad alta temperatura (1.5-2.0), si appiattisce: le opzioni più insolite tornano credibili.
• Top-k — mantiene solo i k candidati più probabili, eliminando la lunga coda di opzioni rare.
• Top-p (nucleus sampling) — mantiene il più piccolo insieme la cui massa cumulata supera p. Più furbo di top-k: se un passo ha una risposta ovvia, p può tagliare a un solo candidato. Se il modello esita tra 20 opzioni vicine, le mantiene tutte.

Prova il prompt Capitale. La distribuzione è talmente concentrata su Roma che la temperatura ha quasi nessun effetto: bisogna salire oltre 1.8 per dare una possibilità alle altre opzioni. Il modello è sicuro di sé.

Al contrario, su Il cielo al secondo passo, diverse continuazioni sono plausibili ( luce, colore, mare…): è lì che la temperatura cambia davvero il risultato.

Il ciclo che fa tutto

Tutto ciò che fa un LLM sta in questo ciclo:

1. Leggere il contesto (i token già presenti).
2. Produrre una distribuzione di probabilità sul prossimo token.
3. Campionare un token da questa distribuzione.
4. Aggiungerlo al contesto. Ricominciare.

È meccanico, ripetitivo, noioso da descrivere. Eppure, eseguito miliardi di volte su un modello con centinaia di miliardi di parametri, questo ciclo produce dialoghi, dimostrazioni, codice che compila.

Il piano di questo sito

Il percorso è organizzato in quattro parti, dal più meccanico al più compiuto.

I. Anatomia di un modello (cap. 2-6). Smontiamo la macchina. Tokenizzazione, embeddings, attenzione, Transformer, addestramento — come un testo diventa una sequenza di vettori, e come miliardi di parametri imparano a manipolarli.

II. Rispondere come un assistente (cap. 7-9). Campionamento, allineamento, memoria del contesto — ciò che separa un completatore di testo grezzo da qualcosa con cui si può parlare.

III. Il modello in produzione (cap. 10-14). Cosa succede davvero quando invii un prompt. RAG, agenti, prompt engineering, allucinazioni, fine-tuning — l'ingegneria che rende gli LLM utilizzabili ogni giorno, e ciò che ancora si rompe.

IV. Andare oltre (cap. 15-21). I temi che occupano la ricerca. Multimodalità, valutazione, ragionamento esteso, KV cache, leggi di scala, interpretabilità, diffusione — per capire dove va il seguito.

Ogni capitolo contiene almeno una visualizzazione manipolabile. L'obiettivo non è farti memorizzare formule, ma darti un'intuizione meccanica di ciò che succede all'interno.

Andiamo.

Aggiornato il 2 agosto 2026