Datos de RLHF para IA: cómo se recopila la retroalimentación humana

En 2022, OpenAI publicó su artículo sobre InstructGPT con un resultado que sorprendió a muchos: las personas preferían las respuestas de un modelo de 1.300 millones de parámetros a las de GPT-3, con 175.000 millones, aunque el primero era 100 veces más pequeño. La diferencia no venía de una arquitectura nueva ni de más capacidad de cómputo. Venía de los datos: respuestas escritas por personas y miles de juicios humanos del tipo "esta respuesta es mejor que aquella".
Este enfoque se llama RLHF: aprendizaje por refuerzo a partir de retroalimentación humana (reinforcement learning from human feedback). Hoy lo usan, junto con sus variantes simplificadas, no solo los grandes laboratorios, sino también los equipos que ajustan modelos abiertos para sus propios productos: para el tono de una marca, un ámbito concreto o un idioma determinado. Los algoritmos están disponibles en bibliotecas de código abierto. El cuello de botella casi siempre son los datos.
Qué es RLHF, explicado de forma sencilla
El RLHF clásico tiene tres etapas, y dos de ellas necesitan personas:
- Ajuste fino supervisado (SFT). Las personas escriben respuestas modelo a distintos prompts, y el modelo aprende a imitarlas.
- Modelo de recompensa. El modelo genera varias respuestas al mismo prompt, y las personas las comparan y eligen las mejores. Estas comparaciones entrenan un modelo aparte que aprende a predecir qué respuesta preferirá una persona.
- Aprendizaje por refuerzo. El modelo principal genera respuestas, el modelo de recompensa las puntúa y el modelo principal se va desplazando poco a poco hacia las respuestas con mejor puntuación. En esta etapa ya no intervienen personas.
En 2023 apareció un método llamado DPO (Direct Preference Optimization, optimización directa de preferencias). Prescinde del modelo de recompensa aparte y entrena el modelo directamente con pares "mejor frente a peor". Es más sencillo y barato de ejecutar, por lo que se ha vuelto popular entre los equipos que ajustan modelos abiertos. Pero para este artículo importa más otra cosa: el RLHF clásico y DPO necesitan la misma materia prima, es decir, datos de preferencias humanas.
Nota: no confundas el RLHF con la evaluación humana de modelos. La evaluación responde a la pregunta "qué tan bueno es el modelo ahora mismo", mientras que los datos de RLHF se usan para cambiarlo. Las tareas que hacen las personas se parecen, pero los requisitos de volumen y variedad de datos son distintos. Hablamos de la evaluación en detalle en nuestro artículo sobre la evaluación humana de las respuestas de los LLM.
Tipos de datos de retroalimentación humana
Cuando se habla de "datos de RLHF" normalmente se piensa en pares de preferencias, pero en la práctica los equipos recopilan varios tipos de retroalimentación. Cada uno tiene su propio propósito y su propio coste.
Tipo de datos | Qué hace la persona | Para qué se usa | Esfuerzo y coste |
|---|---|---|---|
Demostraciones | Escribe una respuesta modelo a un prompt | SFT, la primera etapa del ajuste fino | Alto: hay que escribir uno mismo un buen texto |
Pares de preferencias | Elige la mejor de dos respuestas | Modelo de recompensa, DPO | Bajo: elegir es más fácil que escribir |
Rankings | Ordena de 3 a 9 respuestas de la mejor a la peor | Modelo de recompensa | Medio: un ranking produce varios pares |
Valoraciones | Da a una respuesta una puntuación o un pulgar arriba/abajo | Métodos como KTO, filtrado de datos | Bajo, pero la señal es más débil que con pares |
Ediciones y críticas | Corrige la respuesta del modelo o explica qué falla en ella | Nuevas demostraciones y pares "la versión editada supera a la original" | De medio a alto |
Para la mayoría de los equipos, el formato principal son los pares de preferencias. Son los más fáciles de recopilar, sirven tanto para el RLHF clásico como para DPO, y a una persona le resulta más fácil comparar dos textos que darle a un texto una puntuación exacta.
Cómo es un registro
Un par de preferencias es un prompt más dos respuestas: la elegida y la rechazada. Los datasets públicos como Anthropic HH-RLHF se guardan en este formato, y las bibliotecas de DPO más populares también lo esperan. Un registro simplificado se ve así:
Conviene guardar metadatos junto al par: quién lo valoró, qué tan seguro estaba ("mucho mejor" o "un poco mejor"), un breve motivo de la elección y la categoría del prompt. Esto te ayudará más adelante a filtrar los pares débiles y a detectar sesgos en los datos.
Cómo se recopilan los datos de preferencias, paso a paso
Paso 1. Reúne los prompts
Los prompts determinan lo que aprenderá el modelo. Si tu conjunto solo contiene preguntas de programación, el modelo no mejorará en absoluto a la hora de atender quejas de clientes. Buenas fuentes:
- prompts reales de usuarios sacados de tus registros (sin datos personales y con el consentimiento de los usuarios);
- prompts escritos por encargo por personas de tu público objetivo: "escribe una pregunta que le harías al asistente de un banco";
- casos difíciles y límite que añades tú mismo: preguntas ambiguas, peticiones que el modelo debería rechazar con educación, instrucciones largas de varios pasos.
Pedir a personas que escriban prompts es una tarea aparte y económica. Así consigues formulaciones naturales en distintos idiomas, con erratas y expresiones coloquiales, igual que las de los usuarios reales. Para saber más sobre cómo recopilar textos de personas, consulta nuestra guía de recopilación de datos de texto para el ajuste fino de LLM.
Paso 2. Genera candidatos
Para cada prompt, obtén dos o más respuestas. Normalmente salen de la versión actual del modelo con distintos ajustes de generación, o de varios modelos diferentes. Las respuestas tienen que diferenciarse claramente: si son casi idénticas, la persona elige al azar y el par no le enseña nada al modelo.
Paso 3. Redacta las directrices para los etiquetadores
Las directrices son la parte más importante del proyecto, porque definen qué valores acabará absorbiendo tu modelo. Deben incluir:
- los criterios de selección y su prioridad: por ejemplo, primero la seguridad, luego la precisión, después la utilidad y por último el estilo;
- qué hacer cuando los criterios entran en conflicto: una respuesta corta y precisa frente a una larga y detallada;
- de 5 a 10 ejemplos resueltos con una explicación de la elección;
- una regla para cuando ambas respuestas son malas.
Paso 4. Haz una prueba piloto y calibra
Antes de la recopilación principal, da entre 50 y 100 pares a varios etiquetadores y compara sus elecciones con las tuyas. Donde a menudo no coincidan contigo, las directrices son poco claras o están incompletas. Cubre esas lagunas y repite la prueba piloto.
Paso 5. Recopilación principal con control de calidad
Divide los pares en lotes y añade a cada uno pares de control con una respuesta obvia. Da algunos pares a varios etiquetadores para poder medir su grado de acuerdo. Revisa el tiempo dedicado a cada tarea y lee las explicaciones de cada elección.
Paso 6. Limpia y monta el dataset
Elimina los pares de etiquetadores descuidados, los marcados como empate y aquellos en los que los etiquetadores no se pusieron de acuerdo. Comprueba el equilibrio: la respuesta elegida no debería ser casi siempre la más larga, y las categorías de prompts deberían estar representadas en las proporciones que necesitas.
Cuántos datos de preferencias necesitas
No hay una cifra universal, pero sí referencias claras. Estos son los volúmenes de datos que usaron proyectos públicos conocidos:
Proyecto | Datos | Quién los etiquetó |
|---|---|---|
InstructGPT (OpenAI, 2022) | Unos 13.000 prompts con demostraciones para SFT y unos 33.000 prompts para el modelo de recompensa; los etiquetadores ordenaban de 4 a 9 respuestas por prompt | Unos 40 colaboradores contratados |
Unos 169.000 pares elegida/rechazada (161.000 para entrenamiento y 8.550 para prueba) | Trabajadores de crowdsourcing |
Fíjate en los rankings de InstructGPT. Un solo ranking de K respuestas produce K×(K−1)/2 pares: 6 pares con cuatro respuestas, 36 con nueve. Así, los rankings te permiten recopilar muchas comparaciones por tarea, aunque la tarea en sí es bastante más difícil.
Un equipo que ajusta un modelo abierto existente para una tarea concreta normalmente no necesita volúmenes así. El modelo base ya sigue instrucciones, y los datos de preferencias solo lo empujan en la dirección correcta. Referencias prácticas (son puntos de partida, no reglas estrictas):
Tarea | Por dónde empezar | Comentario |
|---|---|---|
Ajustar el tono y el estilo de las respuestas | 1.000–3.000 pares | Criterio sencillo; el modelo capta el estilo rápido |
Mejorar las respuestas en un ámbito concreto | 3.000–10.000 pares | Hay que cubrir distintos tipos de preguntas |
Enseñar al modelo a responder bien en un idioma nuevo | Varios miles de pares por idioma | Las valoraciones deben hacerlas hablantes nativos |
Entrenar tu propio modelo de recompensa de uso general | Decenas de miles de pares | Terreno de los grandes laboratorios |
Lo que mejor funciona es un enfoque iterativo: recopila un primer lote, ajusta el modelo, evalúa el resultado y mira dónde sigue fallando. Recopila el segundo lote con las respuestas de la nueva versión, centrándote en los puntos débiles. Por ejemplo, Anthropic recopiló parte de los datos de HH-RLHF justo así: con respuestas de modelos ya ajustados, ronda tras ronda.
Consejo: la calidad gana a la cantidad. Mil pares limpios con una diferencia clara entre las respuestas te darán más que diez mil pares en los que los etiquetadores eligieron al azar.
Qué estropea los datos de preferencias y cómo evitarlo
El modelo no aprende lo que tú querías decir. Aprende lo que los etiquetadores eligieron de verdad. Cualquier sesgo sistemático en sus elecciones, el modelo lo amplificará. Estos son los problemas más comunes.
Preferencia por las respuestas más largas. Una respuesta larga suele parecer más completa, aunque no sea más útil. Un estudio de 2023 mostró que una parte notable de las "mejoras" tras el RLHF se debía simplemente a que las respuestas se habían alargado. Dilo claramente en tus directrices ("no elijas una respuesta solo porque sea más larga") y, tras la recopilación, comprueba con qué frecuencia gana la respuesta más larga.
Complacencia (sycophancy). A la gente le gusta que le den la razón. En el estudio de Anthropic sobre la complacencia, tanto las personas como los modelos de recompensa preferían a veces una respuesta convincente que daba la razón al usuario frente a una correcta. Incluye en tu conjunto prompts con premisas falsas y da a los etiquetadores una regla: corregir un error con educación es mejor que darlo por bueno.
Tono seguro en lugar de precisión. Un etiquetador sin conocimientos del tema no puede distinguir una invención dicha con seguridad de un hecho. Para preguntas sobre hechos, incluye material de referencia en la tarea o envía esos pares a personas con la formación adecuada.
Respuestas demasiado parecidas. Si dos respuestas se diferencian en un par de palabras, la elección es aleatoria, y las etiquetas aleatorias son ruido para el entrenamiento. Añade una escala de confianza ("mucho mejor / un poco mejor / más o menos igual") y deja fuera del entrenamiento los pares de la última categoría.
Un grupo homogéneo de etiquetadores. La idea de qué hace que una respuesta sea educada, adecuada y útil depende de la cultura. Si todos tus etiquetadores son de un mismo país, el modelo absorberá las normas de ese país. Para un producto que atiende varios mercados, recluta etiquetadores de cada uno de ellos. Lo explicamos con más detalle en nuestro artículo sobre cómo reducir el sesgo de los datasets con colaboradores de distintos países.
Cansancio y trabajo descuidado. La atención baja hacia el final de una sesión larga, y algunos trabajadores eligen al azar desde el principio. La solución: lotes cortos de 10 a 15 pares, pares de control en cada lote y ningún pago por el trabajo que no supere los controles.
Problema | Cómo detectarlo | Qué hacer |
|---|---|---|
Sesgo de longitud | La respuesta más larga gana en la inmensa mayoría de los pares | Una regla en las directrices, pares en los que la respuesta más corta es mejor |
Complacencia | Ganan las respuestas que dan por bueno un error de la pregunta | Prompts trampa y una regla de "corrige, no des la razón" |
Elecciones al azar | Bajo acuerdo entre etiquetadores, errores en los pares de control | Pares de control, solapamiento, rechazo de trabajos |
Sesgo cultural | El modelo suena raro en alguno de tus mercados | Etiquetadores de cada país objetivo |
Cuánto cuesta recopilar datos de RLHF y cómo hacerlo en RapidWorkers
La recopilación de datos de preferencias se divide fácilmente en microtareas: escribir unos cuantos prompts, comparar un lote de pares de respuestas, corregir una respuesta floja. En RapidWorkers, cada una de estas etapas es una campaña aparte. El trabajador abre un enlace a tu formulario o herramienta de etiquetado (Google Forms, Label Studio o tu propia interfaz), completa la tarea y envía un código de finalización. Tú revisas el trabajo y solo pagas por lo que aceptas.
Este es un presupuesto aproximado para un primer lote de datos para DPO (las recompensas son ilustrativas: las fijas tú):
Etapa | Volumen | Tareas | Recompensa | Pagado a los trabajadores | Con la comisión del 15% |
|---|---|---|---|---|---|
Redacción de prompts | 1.000 prompts, 10 por tarea | 100 | $0.50 | $50.00 | $57.50 |
Comparación de respuestas | 3.000 pares + 20% de solapamiento para control de calidad = 3.600 juicios, 10 por tarea | 360 | $0.80 | $288.00 | $331.20 |
Total | $338.00 | $388.70 |
No incluye la generación de las respuestas del modelo: eso corre por cuenta de tu propio cómputo o de tus llamadas a la API. Las demostraciones, en las que una persona escribe una respuesta modelo desde cero, cuestan bastante más que las comparaciones: una buena respuesta escrita lleva más o menos el mismo tiempo que una docena de comparaciones.
Así se pone en marcha:
- Recarga tu saldo con tarjeta o criptomonedas, con un mínimo de $20.
- Crea una campaña de redacción de prompts si tus propios registros no bastan. Selecciona los países de tus usuarios para que las formulaciones suenen naturales.
- Genera pares de respuestas y cárgalos en tu herramienta de etiquetado en lotes de 10, con pares de control en cada lote.
- Haz una prueba piloto de 10 a 20 tareas y compara las elecciones de los trabajadores con las tuyas. Afina las directrices donde no coincidan.
- Escala y acepta los trabajos a medida que lleguen. El trabajo rechazado no se paga.
Nota: no muestres a los trabajadores datos confidenciales de tus clientes. Si tus prompts proceden de conversaciones reales, elimina nombres, números de teléfono, direcciones y otros datos personales antes de lanzar la campaña.
Preguntas frecuentes: datos de RLHF
¿Qué son los datos de RLHF?
Son un registro de juicios humanos sobre las respuestas de un modelo. Lo más habitual es que tengan forma de pares de preferencias: un prompt, la respuesta que la persona consideró mejor y la que rechazó. También incluyen respuestas modelo escritas por personas, rankings de varias respuestas y valoraciones en una escala.
¿En qué se diferencia el RLHF de DPO?
El RLHF clásico primero entrena un modelo de recompensa aparte y luego ajusta el modelo principal con aprendizaje por refuerzo. DPO prescinde del modelo de recompensa y entrena el modelo directamente con pares de preferencias, lo que lo hace más sencillo y barato de ejecutar. Ambos métodos usan los mismos datos: pares "mejor frente a peor".
¿Cuántos pares de preferencias necesito para el ajuste fino?
Para adaptar un modelo abierto existente a una tarea concreta, los equipos suelen empezar con entre 1.000 y 10.000 pares, según la complejidad del ámbito. Como comparación, el dataset público HH-RLHF de Anthropic contiene unos 169.000 pares, pero se creó para un asistente de uso general. Es mejor recopilar los datos en varias rondas y evaluar el modelo después de cada una.
¿Puedo usar datasets públicos en lugar de los míos?
Para habilidades generales, sí, y los equipos suelen usarlos como base. Pero los datasets públicos no conocen tu producto, el tono de tu marca ni las reglas de tu ámbito, y casi siempre están en inglés. Además, revisa la licencia del dataset antes de usarlo.
¿Quién debería etiquetar los datos de preferencias?
Personas parecidas a tus usuarios, para juzgar la utilidad, la claridad y el tono. Hablantes nativos, para modelos multilingües. Especialistas, solo cuando la elección requiera conocimientos profesionales: medicina, derecho, código complejo.
¿Pueden las valoraciones de otro modelo sustituir a los etiquetadores humanos?
En parte. Usar valoraciones automáticas se llama RLAIF, y es más barato. Pero el modelo que valora transmite sus propios sesgos al modelo que se entrena, y sin un conjunto de referencia humano no puedes comprobar si valora correctamente. Funciona un enfoque mixto: las personas etiquetan los casos difíciles y una muestra de control, y el modelo se encarga de los sencillos.
En resumen: tu modelo será tan bueno como tus datos de preferencias
Los algoritmos de RLHF y DPO están disponibles en bibliotecas de código abierto, y los modelos base se han vuelto potentes y accesibles. Lo que hoy separa un producto mediocre de uno bueno son los datos: cuánto se parecen los prompts a los reales, qué tan claras son las directrices para los etiquetadores y con cuánto cuidado se han filtrado las etiquetas aleatorias y sesgadas.
Un primer lote de unos pocos miles de pares cuesta cientos de dólares, no decenas de miles, y lleva días, no meses. Empieza con una prueba piloto: redacta tus directrices, prepara 100 pares y crea una campaña en RapidWorkers con trabajadores de los países de tus usuarios. Los primeros resultados te mostrarán dónde funcionan las directrices y dónde necesitan más trabajo.
¿Listo para empezar?
Únete a miles de trabajadores y empleadores que ya usan RapidWorkers para completar tareas rápido.
- Sin suscripción
- Cancela cuando quieras
- Disponible 24/7
- Resolución de disputas


