Predecir una palabra a la vez

La gran sorpresa

Esta es la cosa más rara de la IA moderna: todo lo que hace un gran modelo de lenguaje se apoya en una sola capacidad — predecir la siguiente palabra.

Le das el principio de una frase:

"El cielo es azul porque..."

El modelo calcula, entre las decenas de miles de fragmentos de palabra que conoce, cuál es el más probable justo después. Luego vuelve a empezar con esa nueva palabra añadida. Y otra vez. Y otra vez. Eso es todo.

De esta operación diminuta y mecánica emerge todo lo demás: traducción, resumen, código, explicaciones de física cuántica, bromas, poemas.

Por qué funciona

Para predecir bien la siguiente palabra, hay que entender muchísimas cosas sobre el mundo.

Mira esta frase:

"El médico envió a la enfermera a su casa porque ella..."

Para adivinar lo que viene después, el modelo debe saber que "ella" probablemente se refiere a la enfermera (y no al médico): debe entender la gramática, el contexto, quizá incluso las convenciones sociales del oficio médico.

Predecir palabras significa modelar el mundo que las produjo.

Esa es la idea central. Obligar a un sistema a predecir texto humano a gran escala significa obligarlo a aprender, indirectamente, cómo funciona el mundo en el que ese texto fue escrito.

Una distribución, no una palabra

Cuando decimos "el modelo predice la siguiente palabra", es un atajo. En realidad, en cada paso produce una distribución de probabilidad sobre todo su vocabulario: cada token recibe una puntuación, y la suma vale 1.

Para generar texto, después hay que elegir un token de esa distribución. Aquí la cosa se vuelve interesante: el mismo modelo, con el mismo prompt, puede producir textos muy distintos según la estrategia de muestreo.

En cada paso, el modelo propone una distribución sobre todos los tokens del vocabulario. La barra más alta rara vez es el único candidato plausible — eso es lo que hace que la continuación del texto sea abierta y no mecánica.

Tres controles para manipular arriba:

• Temperatura — divide los logits — las puntuaciones brutas que el modelo asigna a cada token, antes de cualquier normalización — y los pasa después por el softmax, la función que convierte esas puntuaciones en probabilidades que suman 1. Con temperatura baja (0.1-0.3), la distribución se concentra en el candidato más probable: el modelo se vuelve predecible, casi determinista. Con temperatura alta (1.5-2.0), se aplana: las opciones raras vuelven a ser plausibles.
• Top-k — conserva solo los k candidatos más probables y elimina la larga cola de opciones raras.
• Top-p (nucleus sampling) — conserva el conjunto más pequeño cuya masa acumulada supera p. Es más adaptable que top-k: si un paso tiene una respuesta obvia, p puede cortar a un solo candidato. Si el modelo duda entre 20 opciones cercanas, las mantiene.

Prueba el prompt Capital. La distribución está tan concentrada en Madrid que la temperatura casi no tiene efecto: hay que subir por encima de 1.8 para dar una oportunidad a otras opciones. El modelo está seguro.

En cambio, en El cielo en el segundo paso, varias continuaciones son plausibles ( luz, color, mar...). Ahí es donde la temperatura cambia realmente el resultado.

El bucle que lo hace todo

Todo lo que hace un LLM cabe en este bucle:

1. Leer el contexto (los tokens ya presentes).
2. Producir una distribución de probabilidad sobre el siguiente token.
3. Muestrear un token de esa distribución.
4. Añadirlo al contexto. Volver a empezar.

Es mecánico, repetitivo, aburrido de describir. Y sin embargo, ejecutado miles de millones de veces en un modelo con cientos de miles de millones de parámetros, este bucle produce diálogos, demostraciones, código que compila.

El plan de este sitio

El recorrido se organiza en cuatro partes, de lo más mecánico a lo más acabado.

I. Anatomía de un modelo (cap. 2 a 6). Desmontamos la máquina. Tokenización, embeddings, atención, Transformer, entrenamiento — cómo un texto se convierte en una secuencia de vectores, y cómo miles de millones de parámetros aprenden a manipularlos.

II. Responder como un asistente (cap. 7 a 9). Muestreo, alineamiento, memoria del contexto — lo que separa a un completador de texto en bruto de algo con lo que se puede hablar.

III. El modelo en producción (cap. 10 a 14). Lo que ocurre de verdad cuando envías un prompt. RAG, agentes, prompt engineering, alucinaciones, fine-tuning — la ingeniería que hace que los LLMs sean utilizables a diario, y lo que aún se rompe.

IV. Ir más lejos (cap. 15 a 21). Los temas que ocupan la investigación. Multimodalidad, evaluación, razonamiento extendido, KV cache, leyes de escala, interpretabilidad, difusión — para entender hacia dónde va lo siguiente.

Cada capítulo contiene al menos una visualización manipulable. El objetivo no es que memorices fórmulas, sino darte una intuición mecánica de lo que ocurre dentro.

Vamos.

Actualizado el 2 de agosto de 2026