¿Más grande siempre es mejor?

Una intuición engañosa

Durante años, la industria de la IA vivió sobre una creencia simple: un modelo el doble de grande es mejor. GPT-2 (1,5 mil millones de parámetros) fue eclipsado por GPT-3 (175 mil millones). PaLM, Megatron, Gopher — la carrera por los parámetros parecía no tener fin.

Después, en 2022, un equipo de DeepMind publicó un paper que lo cambió todo. Su tesis: los grandes modelos de la época estaban masivamente subentrenados. No demasiado pequeños — mal alimentados de datos.

El modelo que demostraba esa tesis se llamaba Chinchilla.

La ley de Kaplan: la primera formulación

En 2020, OpenAI publica un paper de Jared Kaplan y colegas — "Scaling Laws for Neural Language Models" — que muestra algo notable. Sobre decenas de modelos entrenados a distintos tamaños, la pérdida de validación sigue una ley de potencia simple:

L ≈ L∞ + (C₀ / C)^α

Decodificando la fórmula:

• C — el cómputo total invertido en el entrenamiento (en FLOPs).
• L — la pérdida de validación final.
• L∞ — la pérdida irreducible: el suelo por debajo del cual no se puede bajar, ni siquiera con cómputo infinito. Es la entropía natural del lenguaje humano — siempre hay una parte de imprevisibilidad en la siguiente palabra.
• C₀ — una constante de normalización que depende de la arquitectura.
• α ≈ 0,05 — el exponente de la ley de potencia.

En claro: doblar el cómputo reduce la pérdida en una cantidad predecible. La ley es asombrosamente robusta sobre 7 órdenes de magnitud.

Kaplan saca de ahí una conclusión que guiará a la industria durante dos años: dado un presupuesto de cómputo, asignen la mayoría al tamaño del modelo, poco a los datos.

Eso es lo que hizo OpenAI con GPT-3. 175 mil millones de parámetros, pero "solo" 300 mil millones de tokens de entrenamiento.

Chinchilla rompe el molde

En 2022, Hoffmann et al. (DeepMind) rehacen el experimento con una metodología distinta. En vez de fijar el tamaño del modelo y variar el cómputo, exploran sistemáticamente el plano (N, D) a cómputo constante.

Su conclusión contradice directamente a Kaplan: N y D deben crecer al mismo ritmo. Para minimizar la pérdida con un presupuesto de cómputo fijo, hay que entrenar un modelo de tamaño modesto sobre muchos datos.

Más precisamente, el ratio óptimo es:

D ≈ 20 × N

Para un modelo de 70 mil millones de parámetros, el óptimo es del orden de 1,4 billones de tokens. GPT-3 (175 mil millones de parámetros, 300 mil millones de tokens) tenía un ratio de 1,7 — una docena de veces por debajo del óptimo.

DeepMind lo demostró entrenando Chinchilla: 70 mil millones de parámetros, 1,4 billones de tokens. Más pequeño que GPT-3, más tokens, y mejor en todos los benchmarks.

El mapa del cómputo

Dos controles, un punto en el mapa. Colócalo primero en un modelo grande y poco alimentado (N alto, D bajo), y luego haz lo contrario. Vigila el ratio D / N y la pérdida estimada en cada movimiento: todo el debate entre Kaplan y Chinchilla está en lo que hace esa cifra cuando te mueves.

En la gráfica log-log, la loss decrece como una ley de potencia con el compute. Los sliders N (parámetros) y D (tokens) muestran la iso-compute curve: para un presupuesto dado, existe una proporción N/D óptima — alrededor de 20 tokens por parámetro según Chinchilla.

Mueve el punto para explorar el plano (N, D). La diagonal Chinchilla es la línea donde cada dólar de cómputo se gasta de forma óptima. Por encima, has entrenado demasiado tiempo un modelo demasiado pequeño; por debajo, lo contrario.

Notarás algo interesante: LLaMA-3 está muy por encima de la diagonal. Con 70 mil millones de parámetros entrenados sobre 15 billones de tokens en 2024, su ratio es de 214 — diez veces por encima del óptimo Chinchilla. Entonces resultaba llamativo; desde entonces la tendencia al sobreentrenamiento se ha acentuado aún más, y los modelos pequeños superan ese ratio con toda normalidad.

¿Por qué? Porque Meta optimizó para algo distinto a la eficiencia del cómputo de entrenamiento. Optimizó para el coste de inferencia. Un modelo más pequeño entrenado más tiempo cuesta más entrenarlo (un poco) pero mucho menos servirlo en producción. Sobre miles de millones de peticiones, el ahorro es masivo.

Más allá de los parámetros: la calidad de los datos

Las scaling laws no son el final de la historia. Aparecen varios límites.

La cantidad de datos de alta calidad es finita. Common Crawl, Wikipedia, GitHub, ArXiv, libros escaneados — el inventario de texto realmente limpio en internet no es infinito. Durante mucho tiempo se anunció un "muro de datos" inminente: entrenar un modelo de 1 billón de parámetros al óptimo Chinchilla requeriría 20 billones de tokens. Ese muro se aleja. El filtrado de calidad (FineWeb y sus sucesores), el multilingüe, la repetición controlada sobre varias épocas y los datos sintéticos han vuelto corrientes los entrenamientos de 15 o 30 billones de tokens. Lo que falta ya no es texto — es el buen texto.

La calidad gana a la cantidad, pero solo hasta cierto punto. Filtrar un corpus para conservar solo datos de alta calidad (manuales, libros técnicos, código limpio) mejora el modelo más que añadir datos mediocres. Pero un filtrado demasiado agresivo termina por empobrecer la distribución y dañar la generalización.

Las capacidades emergentes enturbian la curva. Para ciertas tareas (razonamiento multi-paso, matemáticas complejas, instrucciones raras), el rendimiento se mantiene plano hasta cierto umbral de tamaño — y después sube bruscamente. Esas "emergent abilities" son controvertidas: algunos investigadores (Schaeffer et al., 2023) muestran que desaparecen cuando se elige una métrica más continua. Pero el fenómeno práctico permanece: los modelos pequeños simplemente no pueden hacer ciertas cosas, por mucho fine-tuning que se les aplique.

La lección práctica

Probablemente nunca entrenarás un modelo tú mismo. Pero estas leyes explican la forma del paisaje en el que eliges los tuyos.

Por qué los modelos que usas son pequeños y sobreentrenados. Con un presupuesto de cómputo fijo, el óptimo de entrenamiento es un ratio D/N cercano a 20. Casi nadie lo respeta ya — y es deliberado. Un modelo más pequeño alimentado más tiempo cuesta un poco más entrenarlo, pero mucho menos servirlo. Sobre miles de millones de peticiones, es esa segunda partida la que decide. De ahí los 8B y los 70B por todas partes, entrenados muy por encima de Chinchilla, en vez de monstruos de 500 mil millones de parámetros.

Por qué un modelo pequeño se atasca en ciertas tareas, hagas lo que hagas. Las capacidades emergentes solo aparecen a partir de cierto umbral de tamaño. Si un modelo falla en toda una clase de problemas, ningún prompt ni ningún fine-tuning lo salvará: hay que cambiar de modelo, no de método.

Por qué las nuevas generaciones avanzan sin engordar. Desde hace unos años, el margen ya no viene de los parámetros sino de los datos: filtrado, diversidad, calidad. Un modelo del mismo tamaño que el de hace un año puede ser claramente mejor sin haber ganado un solo parámetro — lo que ha cambiado es lo que ha leído.

Las scaling laws no dicen que haya que crecer indefinidamente. Dicen que hay un ratio justo entre parámetros y datos — y que pasamos años equivocándonos de lado.

Estas leyes describen una curva, no un mecanismo. Predicen que un modelo mejor alimentado se equivocará menos, sin decir nada de lo que habrá aprendido para conseguirlo. ¿Qué contienen realmente esos miles de millones de parámetros? ¿Hay algo legible ahí dentro, o solo una papilla de números que funciona? El siguiente capítulo intenta abrir la caja.

Actualizado el 2 de agosto de 2026