IA 4 de noviembre de 2026 4 MIN DE LECTURA
Qué hace y qué no hace el RLHF
Cómo funciona el aprendizaje por refuerzo con retroalimentación humana en InstructGPT, qué mejoró, el impuesto de alineación y qué queda sin resolver.
LA RESPUESTA CORTA
El aprendizaje por refuerzo con retroalimentación humana ajusta un modelo de lenguaje según cómo personas clasifican sus respuestas. En el artículo de OpenAI de 2022 sobre InstructGPT, un modelo pequeño ajustado fue preferido a uno 100 veces mayor, con respuestas más veraces. Enumera sus límites: de quién son las preferencias, los errores que quedan y el impuesto de alineación.
En esta página
Por qué no basta con un modelo de lenguaje simple
Un modelo de lenguaje entrenado solo para predecir la palabra siguiente persigue un objetivo distinto del que quiere la gente. El equipo de OpenAI detrás de InstructGPT lo planteó así en 2022: hacer los modelos más grandes no los vuelve, por sí mismo, mejores para seguir la intención del usuario, y los modelos grandes pueden ser poco veraces, tóxicos o sencillamente poco útiles. Predecir el siguiente token de una página web no es el mismo objetivo que seguir instrucciones de forma útil y segura, así que el artículo califica ese objetivo simple de desalineado.
El aprendizaje por refuerzo a partir de retroalimentación humana (RLHF) es la técnica que empleó el artículo para cerrar parte de esa brecha. Tiene una historia más corta que los chatbots construidos sobre ella.
De dónde viene
En 2017, Paul Christiano y sus colegas de OpenAI y DeepMind demostraron que un sistema podía aprender un objetivo a partir de preferencias humanas entre pares de fragmentos cortos de comportamiento, sin una función de recompensa escrita a mano. Entrenaron agentes en juegos de Atari y en el movimiento simulado de robots, dando retroalimentación en menos del 1 % de las interacciones del agente, e informaron de que habían entrenado nuevos comportamientos con alrededor de una hora de tiempo humano. La clave era el coste: una persona solo tiene que decir cuál de dos fragmentos le parece mejor.
Los tres pasos de InstructGPT
El artículo de 2022 aplicó la idea a GPT-3 en tres pasos.
- Demostraciones. Un equipo de 40 contratistas, elegidos tras una prueba de selección, escribió ejemplos de la salida deseada para indicaciones enviadas a la API de OpenAI y para las que ellos mismos redactaron. GPT-3 se ajustó con esos ejemplos mediante aprendizaje supervisado ordinario.
- Clasificaciones. Los anotadores compararon y clasificaron varias salidas del modelo. Se entrenó un modelo de recompensa aparte para predecir cuál preferirían.
- Aprendizaje por refuerzo. El modelo se ajustó con el algoritmo PPO para producir salidas que el modelo de recompensa puntúa muy alto.
Qué cambió
El artículo presenta sus resultados sobre su propio conjunto de indicaciones, valorados sobre todo por sus propios anotadores, así que conviene leer las cifras en ese sentido.
- Preferencia. Las salidas del modelo InstructGPT de 1300 millones de parámetros fueron preferidas a las del GPT-3 de 175 000 millones de parámetros, que tiene más de 100 veces más parámetros. El InstructGPT de 175 000 millones de parámetros se prefirió al GPT-3 en el 85 % (± 3) de las veces, y al GPT-3 con una indicación few-shot en el 71 % (± 4).
- Veracidad. En el benchmark TruthfulQA, InstructGPT dio respuestas veraces e informativas aproximadamente el doble de veces. En tareas de resumen y otras de dominio cerrado, inventó información que no figuraba en la entrada el 21 % de las veces, frente al 41 % de GPT-3.
- Toxicidad. Alrededor de un 25 % menos de salidas tóxicas cuando se le pedía que fuera respetuoso. En dos benchmarks de sesgo, Winogender y CrowS-Pairs, no hubo una mejora significativa.
El impuesto de alineación
El ajuste con preferencias humanas empeoró el modelo en algunos benchmarks públicos, entre ellos SQuAD, DROP, HellaSwag y la traducción del francés al inglés. Los autores lo llaman «impuesto de alineación». Lo redujeron volviendo a mezclar el objetivo original de preentrenamiento durante el paso de aprendizaje por refuerzo, sin rebajar las puntuaciones de preferencia de los anotadores.
Lo que no hace
El artículo es franco sobre sus límites.
- ¿De quién son las preferencias? El procedimiento alinea el modelo con las preferencias declaradas de un grupo concreto, sobre todo los anotadores y los investigadores, y no con una noción más amplia de valores humanos.
- Los errores persisten. InstructGPT puede seguir fallando al cumplir instrucciones, inventarse hechos, dar respuestas largas llenas de cautelas a preguntas simples y pasar por alto premisas falsas en una instrucción.
- El desacuerdo no se ha probado. Una prueba preliminar con anotadores que no habían producido datos de entrenamiento dio preferencias parecidas. Los autores dicen que hace falta más trabajo con grupos más amplios y con entradas en las que la gente no se pone de acuerdo sobre el comportamiento adecuado.
Este artículo describe la receta de 2022. Sistemas posteriores han cambiado detalles que aquí no se tratan.
Nuestra opinión: el RLHF enseña a un modelo lo que la gente prefiere, lo cual no es lo mismo que lo que es cierto. Cuando las personas que clasifican las respuestas no distinguen una buena de una que solo resulta verosímil, la señal es débil. Pregunta quiénes eran los anotadores, qué se les pidió y cómo se probó el sistema con casos en los que ellos mismos se equivocarían.
Preguntas y respuestas
¿Qué significa RLHF?
Aprendizaje por refuerzo a partir de retroalimentación humana. Las personas comparan las salidas de un modelo, un modelo de recompensa aprende sus preferencias y después el modelo se entrena para producir salidas que el modelo de recompensa puntúa muy alto.
¿Es el RLHF la forma de entrenar un modelo de lenguaje desde cero?
No. En InstructGPT llegó después del preentrenamiento: primero un ajuste supervisado con ejemplos escritos por personas, luego un modelo de recompensa entrenado con clasificaciones y, por último, aprendizaje por refuerzo.
¿Hace el RLHF que un modelo sea veraz?
En el artículo ayudó: respuestas veraces e informativas aproximadamente el doble de veces en TruthfulQA, y el contenido inventado en tareas de dominio cerrado bajó del 41 % al 21 %. Los autores también dicen que el modelo sigue inventando hechos.
¿A los valores de quién se ajusta?
En InstructGPT, las preferencias de un grupo concreto, sobre todo los 40 anotadores contratados y los investigadores. El artículo dice que no se trata de una noción más amplia de valores humanos.
¿Estás de acuerdo?
Llévalo a Chevlume: escribe tu punto de vista, añade tus fuentes y deja que otros respondan. La alfa cerrada es solo con invitación.
Sigue leyendo
Generación aumentada por recuperación, explicada sin rodeos
Qué es RAG, cómo funcionaba el sistema original de 2020, qué midió el artículo y dónde falla la recuperación, con las cifras de las fuentes.
IA / DESCUBRIMIENTOEl Turco mecánico: el fraude de la máquina de ajedrez
Una máquina de ajedrez de 1770 que en realidad escondía a una persona. Cómo funcionaba el truco, a quién derrotó y cómo su nombre acabó en Amazon.
IA / DESCUBRIMIENTOELIZA, Deep Blue y AlphaGo
Tres máquinas que sorprendieron a sus autores: un guion de 1966 que solo reflejaba, un motor de ajedrez que calculaba y un jugador de go con su jugada 37.
Fuentes
- Training language models to follow instructions with human feedback (Ouyang et al., 2022) · arXiv (OpenAI) · Consultado el
- Deep Reinforcement Learning from Human Preferences (Christiano et al., 2017) · arXiv (OpenAI, DeepMind) · Consultado el
Publicado el
Comenta en X