IA 4 de noviembre de 2026 7 MIN DE LECTURA
Cómo se entrena un modelo de lenguaje
De los tokens al chat: predicción del siguiente token, retroalimentación humana, leyes de escala y alucinaciones, con cifras de los artículos originales.
LA RESPUESTA CORTA
Un modelo de lenguaje aprende primero a predecir el siguiente token en una enorme cantidad de texto. Después se ajusta con ejemplos y clasificaciones humanas para que siga instrucciones. La mayoría de los errores proceden de esas dos fases: hechos que los patrones no pueden predecir y un entrenamiento que premia adivinar.
En esta página
Primer paso: convertir el texto en tokens
Un modelo de lenguaje no lee letras ni palabras. Lee tokens: fragmentos de texto de un vocabulario fijo. Un método habitual, la codificación por pares de bytes (byte pair encoding), se adaptó a las redes neuronales en 2015. Construye un vocabulario de trozos de longitud variable, de modo que incluso una palabra poco frecuente puede deletrearse a partir de piezas más pequeñas. Las páginas de ayuda de OpenAI dan una regla práctica para el inglés: unos cuatro caracteres, o tres cuartos de palabra, por token, así que 100 tokens equivalen a unas 75 palabras. Es una estimación, y en otros idiomas varía.
Segundo paso: predecir el siguiente token
El núcleo del entrenamiento es una tarea sencilla. El preentrenamiento consiste en predecir el siguiente token sobre cantidades enormes de texto. OpenAI lo describe sin rodeos: no hay etiquetas de verdadero o falso, y el modelo solo ve ejemplos de lenguaje fluido. Su trabajo es adivinar lo que viene a continuación, una y otra vez, y los parámetros se ajustan cada vez que se equivoca.
La maquinaria para ello es el transformer, presentado en un artículo de 2017 cuyo título es su idea principal: «Attention Is All You Need». Prescindía de la recurrencia y de las convoluciones y se apoyaba solo en la atención, que permite que cada token mire a todos los demás del texto. El modelo original se diseñó para la traducción automática, no para el chat. Alcanzó 41,8 BLEU en inglés-francés tras 3,5 días con ocho GPU.
La atención tiene un precio. El artículo señala que su coste por capa crece con el cuadrado de la longitud de la secuencia. Es una de las razones por las que las entradas largas resultan caras.
Tercer paso: aprender a seguir instrucciones
Un modelo que solo predice el siguiente token todavía no es un asistente. El artículo de InstructGPT, publicado por OpenAI en 2022, lo dice sin rodeos: el objetivo habitual del preentrenamiento, predecir el siguiente token en páginas web, no coincide con el de seguir instrucciones de forma útil y segura.
Su solución tiene tres pasos. Primero, personas redactan respuestas de ejemplo y el modelo se ajusta con ellas (ajuste fino). Segundo, personas clasifican varias respuestas del modelo y un modelo de recompensa aprende esas preferencias. Tercero, el modelo se entrena con aprendizaje por refuerzo frente al modelo de recompensa. Es el aprendizaje por refuerzo con retroalimentación humana, o RLHF. La idea es anterior a los modelos de lenguaje: un artículo de 2017 entrenó agentes a partir de elecciones humanas entre pares de clips cortos, con retroalimentación sobre menos del 1 % de las interacciones del agente.
Los datos humanos fueron sorprendentemente escasos. InstructGPT contó con un equipo de unos 40 colaboradores externos, y los tres conjuntos de datos reunían unos 13 000, 33 000 y 31 000 prompts. Aun así, los evaluadores humanos prefirieron las respuestas de InstructGPT (1300 millones de parámetros) a las de GPT-3 (175 mil millones), pese a tener cien veces menos parámetros.
También tiene costes. El artículo informa de pequeñas caídas en algunas pruebas de referencia públicas, que denomina «impuesto de alineamiento», y emplea una penalización para que el modelo no se aleje demasiado de su punto de partida mientras persigue la recompensa.
Qué tamaño y con cuánto texto
¿Cuánto conviene invertir en un modelo más grande y cuánto en más texto? En 2020, investigadores de OpenAI hallaron que la pérdida disminuye según una ley de potencias con el tamaño del modelo, el tamaño del conjunto de datos y la capacidad de cálculo, a lo largo de más de siete órdenes de magnitud. Su consejo se inclinaba por modelos muy grandes entrenados con datos relativamente modestos.
El artículo de Chinchilla, de DeepMind, corrigió este planteamiento en 2022. Tras entrenar más de 400 modelos, de 70 millones a más de 16 mil millones de parámetros y de 5 mil millones a 500 mil millones de tokens, concluyeron que el tamaño del modelo y los tokens de entrenamiento deben crecer a la vez: cada vez que se duplica el tamaño del modelo, hay que duplicar también los tokens. Los grandes modelos existentes, afirmaron, estaban claramente infraentrenados. Su prueba fue el propio Chinchilla, de 70 mil millones de parámetros, entrenado con 1,4 billones de tokens. Usó la misma capacidad de cálculo que Gopher, de 280 mil millones de parámetros, pero con un modelo cuatro veces más pequeño y cuatro veces más datos.
Los autores añaden una salvedad: este es el mejor reparto para un presupuesto de entrenamiento, no para el coste de ejecutar el modelo después.
Por qué los modelos se inventan cosas
Alucinación significa que un modelo produce con aplomo una respuesta que no es verdadera. La investigación apunta a dos causas bien comprendidas, no a un fallo misterioso.
- Hay hechos que no se pueden predecir a partir de patrones. La explicación de OpenAI de 2025 pone como ejemplo un dato arbitrario, como el cumpleaños de una mascota. La predicción de la siguiente palabra se equivocará con hechos que aparecen rara vez y no siguen ningún patrón, mientras que los errores de ortografía y de paréntesis se desvanecen a medida que los modelos crecen.
- El entrenamiento y las pruebas premian adivinar. Un artículo de 2025 de Kalai y colaboradores sostiene que los modelos adivinan cuando dudan porque los procedimientos habituales premian una conjetura frente a admitir la incertidumbre. La solución propuesta es penalizar más los errores seguros de sí mismos que la incertidumbre y dar puntuación parcial por decir «no lo sé».
Hay otras mitigaciones documentadas. En tareas cerradas, InstructGPT se inventaba información que no figuraba en la entrada aproximadamente la mitad de las veces que GPT-3: un 21 % de los casos frente a un 41 %. La generación aumentada por recuperación (RAG) conecta el modelo con una fuente consultable, y el artículo original de RAG halló que sus modelos alucinaban menos que un modelo de referencia. Además, más grande no significa automáticamente más veraz: en la prueba TruthfulQA, el mejor modelo fue veraz en el 58 % de las preguntas, frente al 94 % de las personas, y los modelos más grandes fueron en general los menos veraces, porque imitan ideas erróneas populares.
Ventanas de contexto
La ventana de contexto es la cantidad de texto, medida en tokens, a la que el modelo puede atender a la vez. Los prompts de pocos ejemplos (few-shot) de GPT-3 tenían que caber en 2048 tokens. En marzo de 2024, Google informó de que Gemini 1.5 recuperaba información casi a la perfección en pruebas de hasta al menos 10 millones de tokens. Una ventana grande no equivale a aprovecharla bien: en el estudio «Lost in the Middle», la precisión solía ser máxima cuando la información relevante estaba al principio o al final de la entrada, y caía de forma significativa cuando estaba en la parte central.
Qué conviene vigilar ahora
- Los datos, no solo el tamaño: cuánto texto, de qué calidad y cómo se filtra.
- El posentrenamiento: aquí es donde los asistentes adquieren su comportamiento, con muchos menos datos que el preentrenamiento.
- Cómo se puntúan los modelos: las pruebas de referencia que premian adivinar producen modelos que adivinan.
- El contexto largo en la práctica: si el modelo aprovecha la parte central de un documento largo tan bien como los extremos.
Nuestra opinión: un motor de predicción al que se han enseñado modales. Un modelo de chat es un predictor del siguiente token entrenado con buena parte de la web escrita y moldeado después con relativamente poca retroalimentación humana. Entender esas dos fases explica la mayor parte de lo que hace bien y de cómo falla.
Preguntas y respuestas
¿Qué es un token?
Un fragmento de texto del vocabulario fijo del modelo, a menudo parte de una palabra. En inglés, la regla práctica de OpenAI habla de unos cuatro caracteres, o tres cuartos de palabra, por token.
¿Qué es el RLHF?
Aprendizaje por refuerzo con retroalimentación humana. Las personas clasifican las respuestas del modelo, un modelo de recompensa aprende esas preferencias y después se entrena el modelo de lenguaje para obtener buena puntuación con él. Convierte un predictor de texto en un asistente.
¿Por qué alucinan los modelos de IA?
En parte, porque hay hechos que no se pueden predecir a partir de patrones y, en parte, porque el entrenamiento y las pruebas premian una conjetura segura frente a reconocer la incertidumbre. La recuperación de información desde una fuente fiable y una mejor puntuación reducen el problema.
¿Un modelo más grande es siempre mejor?
No. El trabajo de DeepMind sobre Chinchilla concluyó que muchos modelos grandes estaban infraentrenados y que el tamaño del modelo y el texto de entrenamiento deben crecer a la vez. Un modelo de 70 mil millones de parámetros entrenado con más datos superó a otro cuatro veces mayor.
¿Estás de acuerdo?
Llévalo a Chevlume: escribe tu punto de vista, añade tus fuentes y deja que otros respondan. La alfa cerrada es solo con invitación.
Sigue leyendo
El Turco mecánico: el fraude de la máquina de ajedrez
Una máquina de ajedrez de 1770 que en realidad escondía a una persona. Cómo funcionaba el truco, a quién derrotó y cómo su nombre acabó en Amazon.
IA / DESCUBRIMIENTOELIZA, Deep Blue y AlphaGo
Tres máquinas que sorprendieron a sus autores: un guion de 1966 que solo reflejaba, un motor de ajedrez que calculaba y un jugador de go con su jugada 37.
IA / EXPLICACIÓNCódigo abierto frente a pesos abiertos en IA
Qué es «abierto» en IA: la Open Source AI Definition, pesos abiertos, licencias restrictivas y por qué la diferencia cambia lo que puedes hacer.
Fuentes
- Neural Machine Translation of Rare Words with Subword Units · arXiv (Sennrich, Haddow, Birch) · Consultado el
- What are tokens and how to count them? · OpenAI Help Center · Consultado el
- Why language models hallucinate · OpenAI · Consultado el
- Training language models to follow instructions with human feedback · arXiv (Ouyang et al., OpenAI) · Consultado el
- Attention Is All You Need · arXiv (Vaswani et al., Google) · Consultado el
- Deep reinforcement learning from human preferences · arXiv (Christiano et al.) · Consultado el
- Scaling Laws for Neural Language Models · arXiv (Kaplan et al., OpenAI) · Consultado el
- Training Compute-Optimal Large Language Models · arXiv (Hoffmann et al., DeepMind) · Consultado el
- Why Language Models Hallucinate · arXiv (Kalai, Nachum, Vempala, Zhang) · Consultado el
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks · arXiv (Lewis et al.) · Consultado el
- TruthfulQA: Measuring How Models Mimic Human Falsehoods · arXiv (Lin, Hilton, Evans) · Consultado el
- Language Models are Few-Shot Learners · arXiv (Brown et al., OpenAI) · Consultado el
- Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context · arXiv (Gemini Team, Google) · Consultado el
- Lost in the Middle: How Language Models Use Long Contexts · arXiv (Liu et al.) · Consultado el
Publicado el
Comenta en X