El día en que las matemáticas aprendieron a hablar: el verdadero hito de los LLM

Cuando hablamos de los grandes modelos de lenguaje, casi siempre terminamos hablando de sus respuestas, de los empleos que podrían transformar, de sus errores o de si la próxima versión será todavía más potente. Sin embargo, detrás de todo ese ruido hay un logro mucho más profundo al que quizá no estamos prestando suficiente atención: hemos conseguido que una máquina maneje la enorme complejidad del lenguaje humano utilizando únicamente matemáticas.

No hay palabras dentro de un LLM. No hay letras, definiciones ni reglas gramaticales escritas como las encontraríamos en un libro. En el interior del modelo solo existen identificadores numéricos, vectores con valores decimales, matrices, probabilidades y millones —o miles de millones— de parámetros que se ajustan durante el entrenamiento. Y, pese a ello, de ese entramado numérico emergen la sintaxis, las analogías, el tono, el contexto, la ironía e incluso cierta capacidad para desenvolverse ante conceptos que nunca se le enseñaron de forma explícita.

Lo asombroso no es solo que una máquina pueda escribir. Lo asombroso es que una parte formidable del lenguaje pueda emerger de relaciones numéricas aprendidas.

El lenguaje parecía una frontera exclusivamente humana

El lenguaje no consiste únicamente en encadenar palabras. Una misma expresión puede cambiar de significado según el contexto, la intención o incluso aquello que no se dice. Entendemos metáforas, dobles sentidos y referencias lejanas dentro de una conversación. Podemos crear una frase que jamás se haya pronunciado antes y otra persona será capaz de interpretarla.

Durante décadas, enseñar esa riqueza a una máquina significaba construir reglas, diccionarios y árboles de decisión. Aquellos sistemas podían resolver tareas acotadas, pero se volvían frágiles ante la ambigüedad del mundo real. Siempre aparecía una excepción nueva. El lenguaje era demasiado flexible como para encerrarlo en una lista finita de instrucciones.

Los modelos actuales cambiaron el enfoque. En lugar de explicar a la máquina todas las reglas, le mostramos grandes cantidades de lenguaje y dejamos que aprenda sus regularidades estadísticas. No recibe una definición formal de la ironía ni un manual completo de gramática: ajusta sus parámetros al observar cómo aparecen y se relacionan los elementos del texto.

De las palabras a los números

El primer paso consiste en dividir el texto en tokens. Un token puede representar una palabra, una parte de ella, un signo de puntuación o incluso un espacio, dependiendo del tokenizador. Cada token se sustituye por un identificador entero. Después, ese identificador se transforma en un embedding: un vector compuesto por muchos números decimales.

"lenguaje" → token → 18437 → [0,17, -0,42, 0,08, ..., 0,31]

El ejemplo está simplificado, pero refleja la idea esencial. Desde ese momento, el modelo deja de operar con letras. Trabaja con tensores numéricos y va transformando sus representaciones capa tras capa.

Lo verdaderamente interesante es que esos vectores no se distribuyen al azar. Durante el entrenamiento, conceptos utilizados en contextos parecidos tienden a ocupar regiones relacionadas del espacio matemático. Ya en 2013, el trabajo de Mikolov y sus colaboradores sobre representaciones vectoriales mostró que esas estructuras podían capturar similitudes semánticas y sintácticas. En los LLM actuales, las representaciones son además contextuales: la palabra «banco» no termina representada igual en «me senté en el banco» que en «pedí un préstamo al banco».

De alguna manera, relaciones que nosotros expresamos mediante significados se convierten en posiciones, direcciones y distancias dentro de espacios de miles de dimensiones. No significa que todo el significado humano haya quedado reducido a una coordenada, pero sí que una cantidad sorprendente de estructura lingüística puede representarse geométricamente.

La atención convierte una secuencia en contexto

La arquitectura Transformer, presentada en 2017, añadió la pieza que permitió llevar esta idea mucho más lejos. Su mecanismo de atención calcula qué partes del contexto resultan relevantes para procesar cada token. De nuevo, no lo hace mediante una reflexión verbal, sino comparando vectores y ponderando numéricamente sus relaciones.

Gracias a este mecanismo, el modelo puede relacionar un pronombre con un nombre mencionado mucho antes, detectar dependencias gramaticales o interpretar una palabra según el resto de la frase. Cada capa reelabora las representaciones y las enriquece con información procedente del contexto.

Por debajo, todo sigue siendo álgebra lineal: multiplicaciones de matrices, productos escalares, normalizaciones y funciones no lineales. Por encima, aparece algo que se comporta como una comprensión operativa del lenguaje.

Predecir el siguiente token no es tan sencillo como parece

Se suele resumir un LLM diciendo que «solo predice la siguiente palabra». La descripción es técnicamente próxima —aunque lo correcto sería hablar de tokens—, pero puede resultar engañosa. Para predecir bien qué viene después en millones de contextos diferentes, el modelo necesita capturar regularidades sobre gramática, estilos, relaciones entre conceptos y parte de la estructura del mundo reflejada en los textos.

P(siguiente token | contexto anterior)

Una predicción aislada parece modesta. Repetida durante el entrenamiento sobre una enorme variedad de ejemplos, obliga al sistema a construir representaciones internas cada vez más útiles. Y repetida durante la generación, token tras token, produce explicaciones, traducciones, resúmenes, código o diálogos completos.

Eso no convierte al modelo en una base de datos que recupera frases almacenadas. Aprende una función matemática capaz de generalizar patrones y combinarlos en contextos nuevos. El salto observado al aumentar la escala de los modelos quedó claramente expuesto en trabajos como GPT-3, que mostró capacidades para realizar distintas tareas a partir de instrucciones y unos pocos ejemplos, sin entrenar un modelo específico para cada una.

Si quieres profundizar en el recorrido técnico completo, desde la tokenización hasta la generación, puedes consultar también Cómo funciona un LLM paso a paso.

¿Podemos llamar a esto comprensión?

Aquí aparece una discusión inevitable. Si por «entender» nos referimos a utilizar el contexto, resolver ambigüedades, reformular una idea y responder de manera coherente, los LLM muestran una forma de comprensión funcional que habría parecido ciencia ficción hace pocos años.

Si, en cambio, exigimos experiencia subjetiva, intención, consciencia o una conexión vital con el mundo, no tenemos pruebas de que un modelo de lenguaje posea nada equivalente. También sabemos que puede inventar datos, reproducir sesgos o producir una respuesta formalmente impecable sin disponer de una representación fiable de la realidad.

Ambas afirmaciones pueden convivir: no sabemos si comprende como una persona, pero tampoco resulta honesto describir sus capacidades como una simple tabla de frecuencias. El fenómeno interesante está precisamente en esa zona intermedia. Hemos construido una máquina cuya conducta lingüística muestra propiedades complejas sin haber programado explícitamente cada una de ellas.

¿Y si nuestro cerebro hace algo parecido?

La pregunta resulta irresistible. Nuestro cerebro tampoco contiene letras ni palabras impresas. Funciona mediante actividad electroquímica distribuida entre redes de neuronas. Los mecanismos biológicos son muy diferentes de los cálculos digitales de un Transformer, pero en ambos casos el lenguaje necesita representarse mediante patrones internos.

Además, varias investigaciones han encontrado que las representaciones de los modelos de lenguaje permiten predecir parte de las respuestas neuronales humanas durante el procesamiento lingüístico. Otros trabajos muestran que el cerebro anticipa información a distintos niveles —sonidos, palabras, gramática y significado— mientras escucha lenguaje natural. Esto encaja, al menos parcialmente, con la importancia de la predicción en los modelos artificiales.

Sin embargo, una correlación no demuestra que cerebro y LLM utilicen el mismo mecanismo. Una persona aprende con un cuerpo, percepción sensorial, emociones, memoria autobiográfica, interacción social y objetivos propios. Un modelo entrenado principalmente con texto recibe una versión indirecta y comprimida de esa experiencia humana. Incluso cuando sus respuestas se parecen, el camino recorrido puede ser radicalmente distinto.

Quizá los LLM no sean una réplica del cerebro, pero sí pueden actuar como una nueva clase de modelo con el que formular preguntas sobre él. Si predecir el siguiente elemento obliga a descubrir estructuras profundas del lenguaje, ¿hasta qué punto la predicción participa también en nuestra propia cognición? ¿Es el significado una propiedad que emerge cuando una red suficientemente compleja relaciona patrones con otros patrones? ¿Qué añade exactamente nuestra experiencia del mundo?

En esta perspectiva neurotecnológica analizamos con más detalle las semejanzas y diferencias entre los modelos de lenguaje y la neurobiología cognitiva.

Un logro matemático y también filosófico

El gran hito de los LLM quizá no sea haber creado máquinas que redactan deprisa. Es haber demostrado empíricamente que una parte enorme de la complejidad del lenguaje puede capturarse mediante estructuras matemáticas aprendidas a partir de datos.

Detrás de cada frase generada no hay letras, sino números decimales propagándose por capas, modificándose según el contexto y desembocando en una distribución de probabilidades. Nosotros vemos palabras; la máquina procesa geometría. Y, de alguna forma, ambos extremos consiguen encontrarse.

Puede que aún no sepamos si una máquina entiende realmente lo que dice. Pero al intentar que lo hiciera hemos descubierto algo extraordinario sobre el propio lenguaje: su complejidad puede dejar huella en las matemáticas. Tal vez la pregunta más interesante ya no sea únicamente si las máquinas piensan como nosotros, sino cuánto podemos aprender sobre nosotros mismos observando cómo han aprendido a hablar.

Referencias

• Mikolov, T. et al. (2013). Efficient Estimation of Word Representations in Vector Space.
• Vaswani, A. et al. (2017). Attention Is All You Need.
• Brown, T. et al. (2020). Language Models are Few-Shot Learners.
• Schrimpf, M. et al. (2021). The neural architecture of language: Integrative modeling converges on predictive processing.
• Heilbron, M. et al. (2022). A hierarchy of linguistic predictions during natural language comprehension.