Escribes una frase en ChatGPT, Claude o Gemini y recibes un párrafo que parece escrito por una persona. La pregunta interesante viene después: ¿cómo funcionan realmente los LLM por dentro? La respuesta honesta es que un gran modelo de lenguaje es un motor estadístico enorme entrenado para predecir el siguiente fragmento de texto, una pieza cada vez. Ese único truco, ampliado lo suficiente, produce código, ensayos, traducciones y argumentos. Esta guía recorre cada etapa del proceso con lenguaje sencillo: tokens, embeddings, atención, entrenamiento, inferencia y las razones por las que estos sistemas siguen equivocándose. Al terminar entenderás qué ocurre entre tu instrucción y la respuesta, y tendrás mejores motivos para comprobarla en vez de confiar en su tono.
Índice
- Qué es realmente un LLM
- Tokens y embeddings: cómo ven el texto los LLM
- El transformer y la autoatención
- Cómo se entrenan los LLM
- Inferencia: de la instrucción a la respuesta
- Por qué los LLM alucinan
- Ventanas de contexto, RAG y uso de herramientas
- Preguntas frecuentes
Qué es realmente un LLM
Un gran modelo de lenguaje es una red neuronal entrenada para representar patrones del lenguaje. Para muchos modelos generativos, predecir el siguiente token es central durante el preentrenamiento. El comportamiento conversacional también refleja el entrenamiento posterior y la aplicación que rodea al modelo. Esta guía se centra en el enfoque habitual del transformer autorregresivo, no en todas las arquitecturas posibles de modelos de lenguaje.
La información aprendida por el modelo está codificada en parámetros numéricos, no en una tabla corriente de frases que se pueda consultar. Eso no significa que no pueda memorizar texto: la investigación sobre extracción de datos de entrenamiento ha demostrado recuperaciones literales en ciertas condiciones. Durante la generación, el modelo calcula puntuaciones para posibles tokens siguientes a partir del contexto disponible.
Tres cosas que un LLM no es
El modelo no es una base de datos convencional. Su respuesta generada no es automáticamente un registro recuperado. Una aplicación puede conectarlo a búsquedas o bases de datos, pero son mecanismos adicionales.
Una respuesta fluida no es una ventana transparente a cómo se produjo. Generar pasos intermedios puede aportar más cómputo y ayudar en algunas tareas, pero una explicación incluida en la salida no garantiza un relato fiel del proceso interno.
El producto es más que un único checkpoint. Los proveedores pueden cambiar modelos, instrucciones, recuperación de información y herramientas. Un comportamiento diferente no significa necesariamente que solo hayan cambiado los pesos subyacentes.
Tokens y embeddings: cómo ven el texto los LLM
Antes de que un LLM pueda hacer algo con tu instrucción, tiene que convertir el texto en números. Esto ocurre en dos pasos: tokenización y representación mediante embeddings. Ambos son más sencillos de lo que parecen y condicionan el comportamiento del modelo más de lo que suele creerse.
Tokenización: cortar el texto en piezas
Un tokenizador divide el texto en unidades llamadas tokens. Según el tokenizador y el texto exacto, un token puede representar parte de una palabra, puntuación, espacios en blanco u otra unidad. «Tokenisation» podría dividirse en fragmentos, pero necesitas el tokenizador real para saber cómo se codifica «Pudgy Cat». El gato no tiene un número universal de tokens.
La codificación por pares de bytes es un enfoque habitual: construye unidades reutilizables fusionando pares frecuentes. Existen otros esquemas, incluida la tokenización por unigramas. SentencePiece admite ambos enfoques. Los métodos basados en subpalabras y bytes pueden representar cadenas desconocidas mediante piezas menores, pero los vocabularios y el tratamiento de caracteres inusuales varían.
Para estimar costos y longitudes, cuenta los tokens con el tokenizador del modelo concreto. La prosa inglesa, el código, los espacios en blanco y los distintos sistemas de escritura pueden tokenizarse de formas diferentes. Las reglas aproximadas basadas en palabras son eso, aproximaciones, y una misma longitud en bytes no garantiza que un archivo de Python use más tokens que un texto en prosa.
Embeddings: convertir tokens en vectores
Los tokens se convierten en vectores numéricos llamados embeddings. Sus dimensiones dependen de la arquitectura. Son una representación inicial, no un recipiente que contenga todo lo que el modelo sabe sobre una palabra; las capas posteriores transforman las representaciones utilizando el contexto circundante.
Las representaciones aprendidas pueden captar similitudes útiles, pero su geometría no es un diccionario sencillo con cada sinónimo perfectamente colocado al lado. El contexto importa. La palabra inglesa «bank» en una frase sobre un río requiere un tratamiento distinto de «bank» en una frase sobre un préstamo, aunque el token inicial sea el mismo.
El transformer y la autoatención
El transformer se presentó en «Attention Is All You Need», en 2017, y se volvió muy influyente en los modelos de lenguaje. No es la única arquitectura: la investigación de Mamba explora una alternativa de espacio de estados. La información pública tampoco justifica afirmar cuál es el diseño interno exacto de todos los modelos propietarios.
Qué hace realmente la atención
Para cada token de tu instrucción, el modelo necesita determinar qué otros tokens importan. Toma la frase «El gato se sentó en la alfombra porque él estaba cansado». «Él» se refiere al gato, no a la alfombra. Una persona lo sabe al instante. El modelo tiene que calcularlo.
La atención calcula combinaciones ponderadas de vectores de valor utilizando relaciones entre consultas y claves. En un generador causal de texto, una posición no puede examinar libremente los tokens futuros. En el ejemplo del gato y la alfombra, el contexto ayuda a representar la relación del pronombre, pero ningún peso de atención concreto debe tratarse como una explicación gramatical garantizada.
Atención multicabeza y apilamiento
Varias cabezas de atención utilizan proyecciones aprendidas diferentes, lo que permite combinar información de distintas maneras. Resulta tentador asignar a cada cabeza un cargo laboral claro, pero su comportamiento es más distribuido y variable. El número de cabezas es una decisión arquitectónica, no un intervalo fijo para todos los modelos modernos.
Los bloques transformer también utilizan transformaciones feed-forward, normalización y conexiones residuales. Repetir bloques construye representaciones contextuales. Su número y disposición varían, y la parte feed-forward no es necesariamente un pequeño añadido de poca importancia en el cómputo.
Cómo se entrenan los LLM
El entrenamiento ajusta los parámetros del modelo. Una distinción general útil separa el preentrenamiento, que aprende de grandes colecciones de datos, del entrenamiento posterior, que puede moldear el seguimiento de instrucciones y otros comportamientos. Los procesos reales pueden contener más etapas que esta división simplificada.
Preentrenamiento: el gran rastreo
Los datos de preentrenamiento pueden incluir texto y código de múltiples fuentes, según el modelo. En el entrenamiento para predecir el siguiente token, el sistema calcula una pérdida a partir de sus predicciones; la retropropagación calcula gradientes y un optimizador los utiliza para actualizar los parámetros. No es simplemente un interruptor binario de «respuesta incorrecta». La composición, el filtrado y la escala de los conjuntos de datos varían.
Los grandes entrenamientos requieren recursos computacionales considerables. Sus costos dependen del tamaño del modelo, los datos, el hardware y las decisiones de entrenamiento, así que atribuir una única cifra sin respaldo a todos los modelos de frontera sería engañoso. Entrenar un modelo experimental pequeño y entrenar un sistema de frontera son proyectos muy distintos.
Ajuste fino y RLHF
Un modelo que solo ha pasado por preentrenamiento es un motor fluido para completar texto. Si le haces una pregunta, quizá simplemente continúe esa pregunta al estilo de un hilo de foro. Para convertirlo en un asistente útil, los proveedores añaden una segunda fase.
Un enfoque influyente, descrito en el artículo de InstructGPT de 2022, combina ejemplos supervisados con comparaciones de preferencias y aprendizaje por refuerzo. Las comparaciones ayudan a entrenar un modelo de recompensa, que orienta la optimización posterior. Existen otros métodos de entrenamiento posterior. Ninguna técnica por sí sola explica todas las frases corteses, negativas o resúmenes que produce una aplicación de chat.
Los investigadores siguen estudiando cómo los objetivos de entrenamiento y las arquitecturas afectan a las capacidades. La lección práctica es distinguir la tarea de preentrenamiento del sistema completo que te responde. Un eslogan sobre predicción no resuelve todas las preguntas sobre razonamiento o comprensión.
Inferencia: de la instrucción a la respuesta
Durante la inferencia ordinaria, los pesos del modelo desplegado generalmente permanecen fijos. La instrucción y el contexto acumulado influyen en la salida sin exigir una nueva actualización de pesos por cada conversación. Aun así, la generación puede ser no determinista, y la memoria de la aplicación es distinta del entrenamiento.
El ciclo de generación
El sistema procesa la instrucción, calcula puntuaciones para posibles tokens siguientes, elige uno mediante su procedimiento de decodificación y continúa. La generación termina al alcanzar una condición de parada o un límite. Esto describe el ciclo autorregresivo básico; un producto también puede detenerse para utilizar herramientas o ejecutar otros pasos a su alrededor.
Las implementaciones evitan repetir todo el trabajo desde cero. La caché de claves y valores de un transformer puede reutilizar información de atención calculada previamente; la investigación de PagedAttention estudia cómo gestionarla con eficiencia. Los tokens nuevos siguen necesitando cómputo, pero ni «volver a procesar toda la instrucción cada vez» ni «activar todos los parámetros» son descripciones universales de la inferencia.
Temperatura y muestreo
La decodificación voraz elige el siguiente token con mayor puntuación. El muestreo, en cambio, extrae un candidato de una distribución, a menudo tras ajustarla. El método utilizado depende del sistema y la tarea; no todos los servicios realizan siempre muestreo.
La temperatura cambia lo concentrada que está la distribución de muestreo. Los valores bajos suelen concentrar las opciones, mientras que los altos reparten más la probabilidad. Top-k y top-p reducen los candidatos de distintas maneras. Una temperatura baja no promete reproducibilidad entre hardware o implementaciones, y una alta no garantiza creatividad ni calidad.
Por qué los LLM alucinan
Un LLM puede generar texto plausible pero falso. Una forma fluida no garantiza respaldo factual, y puede fallar incluso cuando la información pertinente está presente. Los modelos pueden aprender a expresar incertidumbre o abstenerse, pero esos comportamientos son imperfectos. La pregunta útil es si la respuesta concreta está respaldada, no si suena dubitativa o segura.
Errores habituales de alucinación
Citas falsas: cuando se le piden fuentes, el modelo genera cadenas que parecen referencias académicas reales porque ese patrón es abrumadoramente común en sus datos de entrenamiento. El formato es correcto; autores y títulos son inventados.
Fechas y cantidades incorrectas: un modelo puede producir una cifra plausible que no coincide con las pruebas. Verifícala en una fuente adecuada en lugar de suponer que una precisión expresada con seguridad refleja una consulta.
Funciones fantasma: pregunta a un LLM cómo hacer algo en una herramienta de software y puede inventar una llamada a API plausible pero inexistente, porque el patrón «la biblioteca tiene un método que hace esto» es fuerte.
Cómo reducir las alucinaciones
Una forma de mejorar el respaldo es recuperar material pertinente y proporcionárselo al modelo. La investigación sobre generación aumentada por recuperación combina recuperación y generación. Puede ayudar, pero una recuperación deficiente o un uso incorrecto del documento todavía pueden causar errores. Nuestra guía de RAG (en inglés) explica este patrón de aplicación con más detalle.
Ventanas de contexto, RAG y uso de herramientas
Las aplicaciones pueden proporcionar documentos, historial de conversación y resultados de herramientas junto a tus palabras. Esos añadidos pueden importar tanto como la pregunta visible. Tres piezas útiles del sistema son la gestión del contexto, la recuperación de información y las herramientas.
La ventana de contexto
Una ventana de contexto limita cuánto material tokenizado puede manejar un modelo bajo una configuración concreta. La aplicación decide qué incluir, resumir o recuperar. El material fuera del contexto inmediato no necesariamente se borra del almacenamiento del producto, pero el modelo no puede contar con verlo salvo que el sistema vuelva a proporcionárselo.
Generación aumentada por recuperación
Un sistema de recuperación selecciona material de una colección externa y lo pone a disposición de la generación. Puede utilizar similitud vectorial, búsqueda por palabras clave o una combinación. Esto puede aportar información más reciente o específica de la tarea sin volver a entrenar el modelo. Es una opción útil de diseño, no un requisito que siga todo despliegue serio.
Uso de herramientas y MCP
Una aplicación con herramientas puede permitir que el modelo solicite una búsqueda, un cálculo o una operación de base de datos, ejecutar esa petición y devolver el resultado como contexto. MCP se presentó en noviembre de 2024 como protocolo para conectar aplicaciones de IA con sistemas externos; el uso de herramientas no empezó con él. Nuestra explicación de MCP (en inglés) aborda esa capa de conexión.
Preguntas frecuentes
¿Cómo funcionan los LLM, en una frase?
Un LLM es una red neuronal gigantesca entrenada para predecir el siguiente token de una secuencia, y «conversar» es simplemente ejecutar ese ciclo de predicción una y otra vez utilizando tu instrucción como punto de partida.
¿Qué diferencia hay entre un LLM y la IA?
La IA es el campo más amplio, que incluye reconocimiento de imágenes, robótica, búsqueda y sistemas que juegan. Un LLM es un tipo concreto de IA: un gran modelo de lenguaje entrenado con texto para generar texto. ChatGPT, Claude y Gemini son productos basados en LLM.
¿Los LLM entienden realmente el lenguaje?
«Entender» puede significar cosas distintas, desde utilizar el lenguaje con éxito hasta tener una experiencia parecida a la humana. Los modelos aprenden representaciones que permiten comportamientos útiles, pero eso no resuelve por sí solo la cuestión filosófica. Algunos sistemas también procesan imágenes o audio, así que afirmar que todos carecen de entradas sensoriales es demasiado general.
¿Por qué los LLM se inventan cosas?
Generar una respuesta bien formada y generar una respuesta correcta son requisitos distintos. El entrenamiento y el respaldo en fuentes pueden reducir errores, pero ninguno garantiza la exactitud. Comprueba las pruebas de las afirmaciones importantes, especialmente citas, cifras e instrucciones.
¿Puedo entrenar mi propio LLM?
Puedes entrenar un modelo pequeño como ejercicio de aprendizaje o adaptar uno existente si tu hardware, datos y método lo permiten. El ajuste fino no es automáticamente barato en cualquier configuración. Ejecutar un modelo en local es otra tarea; nuestra guía de IA local (en inglés) es un punto de partida.
La idea principal
La imagen útil tiene varias partes: entradas tokenizadas, representaciones aprendidas, un proceso de generación y una aplicación que puede añadir recuperación o herramientas. Predecir el siguiente token explica un mecanismo importante, no todos los comportamientos del producto completo. Comprender estas piezas ayuda a hacer mejores preguntas y verificar respuestas. Un párrafo seguro de sí mismo sigue debiéndote pruebas, por muy bien que esté presentado.
Traducción al español del artículo original en inglés del 2026-05-22. Traducido con ayuda de IA el 1 de noviembre de 2026; las referencias temporales siguen siendo las del original.




