Evaluación humana de modelos de IA

RapidWorkers Team14 oct 2026 • 18 min de lectura
Evaluación humana de modelos de IA

Cambiaste el prompt del sistema, hiciste fine-tuning del modelo o pasaste a otro proveedor. Las pruebas automáticas salieron bien y las métricas subieron un par de puntos. Pero ¿las respuestas son realmente mejores para tus usuarios? Las métricas responden mal a esa pregunta.

Una tarea de texto rara vez tiene una única respuesta correcta. Las métricas clásicas como BLEU y ROUGE miden cuántas palabras coinciden con una respuesta de referencia. No detectan si una respuesta se volvió más clara o más amable, ni si se inventó algo con total seguridad. Los benchmarks públicos miden las capacidades generales de un modelo, no cómo se desenvuelve con tu producto, tus clientes y tu idioma.

Por eso los equipos que crean productos con LLM tarde o temprano recurren a la evaluación humana (human eval). Personas reales leen las respuestas del modelo y las califican según criterios claros: precisión, utilidad, tono y seguridad. Los rankings de modelos más conocidos, como LMArena (antes Chatbot Arena), también se basan en comparaciones por pares hechas por personas.

En esta guía veremos cuándo hace falta de verdad la evaluación humana, qué métodos existen, cómo redactar las instrucciones y calcular el tamaño de la muestra, cómo controlar a los propios evaluadores, cómo analizar los resultados y cuánto cuesta todo.

Cuándo necesitas evaluación humana y cuándo basta con un LLM juez

Hoy, parte de la evaluación la hacen los propios modelos: un LLM lee la respuesta de otro y le pone una puntuación. Este enfoque se llama LLM-as-a-judge (LLM como juez). En un conocido estudio de los autores de MT-Bench y Chatbot Arena, los juicios de GPT-4 coincidieron con las preferencias humanas en más del 80% de los casos, más o menos el mismo nivel en el que las personas coinciden entre sí. Pero esos mismos autores también describieron sesgos sistemáticos del modelo juez: favorece la respuesta que se muestra primero, prefiere las respuestas más largas y puede puntuar mejor sus propios resultados.

En la práctica, los dos enfoques no compiten, sino que se complementan. Un LLM juez es barato y rápido, y funciona bien para las ejecuciones diarias. Las personas hacen falta donde un error sale caro y para comprobar que el propio juez no se equivoca.


Métricas automáticas

LLM-as-a-judge

Evaluación humana

Velocidad

Segundos

Minutos

Horas o días

Coste por juicio

Prácticamente cero

Fracciones de centavo

Desde unos pocos centavos

Qué evalúa

Coincidencia con una referencia

Calidad según criterios definidos

Calidad a ojos de un lector real

Puntos débiles

No capta el sentido ni el estilo

Sesgos por el orden, la longitud y las respuestas “propias”

Más cara, requiere instrucciones y control de calidad de los evaluadores

Cuándo usarla

Pruebas de regresión, tareas con una única respuesta correcta

Ejecuciones diarias, filtrado rápido de variantes

Decisiones de lanzamiento, nuevos idiomas, validación del LLM juez

No prescindas de las personas en estos casos:

  1. Antes de un lanzamiento. La decisión de “lanzamos la nueva versión o no” se toma mejor con juicios de personas que se parecen a tus usuarios.
  2. Nuevos idiomas y mercados. Los modelos juez rinden peor en idiomas con pocos recursos y captan mal las normas locales de cortesía. Un hablante nativo juzgará con más fiabilidad lo natural que suena una respuesta en hindi o suajili.
  3. Validar al propio LLM juez. Antes de confiar en la puntuación automática, compárala con juicios humanos en unos cientos de ejemplos. Si la coincidencia es baja, hay que ajustar el juez.
  4. Criterios subjetivos. El tono, la empatía, si “suena como una persona real” y cuánto ayudó la respuesta a resolver el problema.
  5. Seguridad y temas delicados. Aquí el coste de un error que se escapa es demasiado alto para depender solo de la automatización.

Métodos de evaluación: comparación por pares, escalas de puntuación y rúbricas

La evaluación humana se presenta en unos pocos formatos estándar. El formato que elijas determina lo estables que serán tus resultados y cuántos juicios necesitarás.

Comparación por pares (A/B)

El evaluador ve un prompt y dos respuestas, y elige la mejor o marca un empate. Es el formato más fiable para la pregunta “¿la nueva versión es mejor que la anterior?”: a las personas les resulta más fácil comparar dos opciones que dar una puntuación absoluta. El resultado se calcula como tasa de victorias (win rate). Los rankings de modelos basados en puntuaciones Elo o Bradley–Terry se construyen con comparaciones como estas.

Hay dos reglas obligatorias: aleatoriza el orden de las respuestas (las personas también tienden a elegir más a menudo la opción de la izquierda o la de arriba) y no reveles qué modelo escribió cada respuesta.

Escala de puntuación absoluta

El evaluador puntúa una sola respuesta en una escala, por ejemplo del 1 al 5. Sirve para seguir la calidad a lo largo del tiempo o encontrar puntos débiles. El problema principal es que cada persona tiene su propia idea de lo que es un “4”. Un evaluador es exigente y otro le pone un 5 a casi todo. Ayudan los niveles anclados: para cada puntuación, describe qué significa y da un ejemplo.

Rúbrica o checklist

En lugar de una puntuación global, el evaluador responde varias preguntas concretas de sí o no: ¿se siguió la instrucción?, ¿hay errores factuales?, ¿el formato es correcto?, ¿hay relleno innecesario? Las preguntas concretas dan respuestas bastante más consistentes que “puntúa la calidad del 1 al 5” y muestran al instante qué falló exactamente.

Ordenación (ranking)

El evaluador ve de tres a cinco respuestas y las ordena de mejor a peor. Así se recopilan los datos de preferencias para el entrenamiento. Pero con cada respuesta que se añade, la tarea se vuelve más larga y difícil, y la atención baja.

Método

Ideal para

Dificultad para el evaluador

Comparación por pares

Elegir entre dos versiones o modelos

Baja

Escala de puntuación absoluta

Monitorizar la calidad de un sistema

Media

Rúbrica o checklist

Encontrar errores concretos

De baja a media

Ordenación (ranking)

Recopilar datos de preferencias

Alta

Una combinación que funciona para la mayoría de los equipos: comparación por pares para la decisión final, más un checklist breve de dos o tres preguntas para entender por qué ganó una respuesta.

Cómo diseñar una evaluación: criterios, instrucciones y tamaño de la muestra

Una buena evaluación no empieza por buscar evaluadores. Empieza por cuatro decisiones: qué medimos exactamente, con qué prompts, cómo se lo explicamos al evaluador y cuántos juicios necesitamos para que el resultado sea fiable.

1. Elige de 2 a 4 criterios

Un conjunto típico para un asistente: precisión factual, utilidad (¿la respuesta resolvió la tarea?), cumplimiento de las instrucciones y tono. Para atención al cliente, añade “el modelo no promete cosas que la empresa no hace”. Para traducción, añade “el texto suena natural para un hablante nativo”. Un evaluador no puede manejar diez criterios en una sola tarea: la atención se dispersa y todas las puntuaciones tienden hacia el centro.

2. Prepara un conjunto de prompts

Los prompts deben parecerse a los reales: sácalos de los registros (después de eliminar los datos personales) o pide a personas de tu público objetivo que escriban los suyos. Añade casos difíciles: preguntas ambiguas, instrucciones largas, peticiones que el modelo debería rechazar con educación. Si el conjunto solo tiene preguntas fáciles, las dos versiones las resolverán igual de bien y no verás ninguna diferencia.

3. Redacta instrucciones con ejemplos

El evaluador no conoce tu producto y no puede hacerte preguntas. Tus instrucciones deben incluir:

  1. dos frases de contexto: quién es el usuario y qué necesita;
  2. una definición de cada criterio en lenguaje sencillo;
  3. 2–3 ejemplos resueltos: qué respuesta es mejor y por qué;
  4. una regla para los casos dudosos: cuándo marcar empate y si importa más la precisión o la exhaustividad;
  5. la petición de explicar la elección en una frase. Esto mantiene la disciplina de los evaluadores y te aporta comentarios valiosos.

4. Calcula cuántas comparaciones necesitas

El tamaño de la muestra depende de lo pequeña que sea la diferencia que quieres detectar. Para la comparación por pares funciona una regla práctica sencilla para proporciones: con un 95% de confianza, el margen de error de la tasa de victorias es aproximadamente 1/√n. En cifras:

Comparaciones independientes

Margen de error de la tasa de victorias

Qué puedes detectar

100

±10 pp

Solo una gran diferencia: 62% frente a 38%

400

±5 pp

Una mejora notable: 56% frente a 44%

1,100

±3 pp

Una diferencia sutil: 54% frente a 46%

En la práctica, 300–500 comparaciones suelen bastar para decidir “si lanzamos la nueva versión”. Para que un juicio descuidado no decida el resultado, da cada par a tres evaluadores distintos y usa el voto mayoritario. Así también ves cuánto coinciden los evaluadores entre sí.

Un ejemplo de rúbrica que puedes adaptar

Así podría ser una rúbrica compacta para un asistente de atención al cliente. Primero va la pregunta de comparación por pares y después tres preguntas de checklist para cada respuesta.

Pregunta principal: “Imagina que eres el cliente que envió este mensaje. ¿Qué respuesta te ayudaría más? Elige A, B o Empate.”

Checklist para cada respuesta:

Pregunta

El “sí” cuenta como problema cuando…

Ejemplo

¿La respuesta contiene información incorrecta?

Afirma un dato, precio o política que contradice las notas de referencia que proporcionaste

Dice que los reembolsos tardan 3 días cuando la política dice 14

¿La respuesta ignora parte de la pregunta?

El cliente preguntó dos cosas y solo se respondió una

Explica cómo restablecer la contraseña, pero se salta la pregunta sobre facturación

¿El tono es inadecuado?

Es grosero, demasiado informal, sermoneador o hace promesas que la empresa no puede cumplir

“¡No te preocupes, lo arreglamos hoy sin falta!” sin ningún fundamento

Regla de empate: elige Empate solo si ambas respuestas son igual de útiles o igual de malas. Si una respuesta es ligeramente mejor, elígela.

Explicación: una frase sobre qué decidió tu elección.

Incluye en la tarea las notas de referencia para los evaluadores (políticas, precios, datos del producto). Sin ellas, juzgarán la precisión a ojo y acabarás midiendo lo segura que suena la respuesta, no si es correcta.

Quién debe evaluar y cómo controlar a los evaluadores

A quién eliges como evaluadores depende de qué conocimientos hacen falta para distinguir una buena respuesta de una mala.

Quién evalúa

Cuándo encaja

Coste y velocidad

Tu equipo de producto

Los primeros 50–100 ejemplos, depurar las instrucciones

Caro en tiempo, no escala

Un amplio grupo de trabajadores de crowdsourcing

Utilidad, claridad, tono, preguntas cotidianas

Barato y rápido

Hablantes nativos del país objetivo

Productos multilingües, localización, traducción

Barato, requiere segmentación geográfica

Expertos en la materia

Medicina, derecho, finanzas, código complejo

Caro y lento

La mayoría de las preguntas de producto (“¿la respuesta es clara?”, “¿ayudó?”, “¿cuál de las dos se lee mejor?”) no requieren un título universitario. Lo mejor es planteárselas a personas corrientes que se parezcan a tus usuarios. Reserva a los expertos para verificar datos en campos especializados.

Cómo filtrar a los evaluadores descuidados

  1. Pares de control. Mezcla 1–2 pares en cada lote en los que una respuesta sea claramente mejor porque la otra no viene al caso o tiene un error evidente. Quien falle en ellos no está leyendo.
  2. Tiempo en la tarea. Si leer dos respuestas lleva al menos un minuto y alguien tarda 10 segundos, no se puede confiar en sus juicios.
  3. Un comentario sobre la elección. Un “por qué” de una frase muestra enseguida si la persona leyó las respuestas. Los comentarios idénticos o sin sentido son motivo para rechazar el trabajo.
  4. Solapamiento. Haz que varias personas evalúen algunos de los pares. Un evaluador que discrepa sistemáticamente de la mayoría probablemente entendió mal las instrucciones.

Acuerdo entre evaluadores

Si ni siquiera las personas se ponen de acuerdo sobre qué respuesta es mejor, el problema suele estar en las instrucciones, no en los evaluadores. El acuerdo se mide con coeficientes que corrigen el azar: la kappa de Cohen para dos evaluadores y la alfa de Krippendorff para cualquier número. Un valor de 1 significa acuerdo perfecto; 0 significa un acuerdo no mejor que el azar. El propio Krippendorff recomendaba basarse en datos con una alfa de 0.8 o superior y considerar aceptables los valores desde 0.667 solo para conclusiones provisionales. En tareas subjetivas, como valorar el tono, ese nivel es más difícil de alcanzar. Ayudan más juicios por par y criterios más concretos.

Una secuencia práctica: evalúa tú mismo los primeros 50 pares y da esos mismos pares a un grupo piloto de evaluadores. Donde las respuestas difieran, aclara las instrucciones, y solo entonces lanza el lote principal. Para saber más sobre el control de la precisión al trabajar con colaboradores externos, consulta nuestro artículo sobre la externalización del etiquetado de datos.

Errores comunes que hacen inútiles las evaluaciones humanas

La mayoría de las evaluaciones fallidas no fracasan por culpa de malos evaluadores. Fracasan por cómo están planteadas. Estos son los errores que vemos con más frecuencia:

  1. Mostrar los nombres o las versiones de los modelos. Los evaluadores que ven “GPT” o “nueva versión” se forman una opinión antes de leer. Etiqueta siempre las respuestas de forma neutral como A y B.
  2. No ofrecer la opción de empate. Obligar a elegir entre dos respuestas igual de buenas añade ruido a tus datos. Permite empates, pero define cuándo usarlos.
  3. Demasiados criterios en una sola tarea. Diez controles deslizantes por respuesta garantizan puntuaciones medias en todo. Divide el trabajo en tareas separadas o reduce los criterios a los que de verdad influyen en tu decisión.
  4. Solo prompts fáciles. Si el 90% de tu conjunto de prompts es sencillo, dos modelos decentes cualesquiera empatarán y concluirás que no hay diferencia cuando sí la hay en los casos difíciles.
  5. Un solo evaluador por elemento. Un único juicio no se puede comprobar. Con tres, obtienes gratis un voto mayoritario y una medida de acuerdo.
  6. Saltarse el piloto. Las instrucciones poco claras salen a la luz en las primeras 20 tareas. Descubrirlo después de 1,000 tareas significa pagar por datos que no puedes usar.
  7. El público equivocado. Probar un producto para usuarios brasileños con evaluadores de otros países dice poco sobre cómo se recibirá en Brasil.
  8. Ignorar los comentarios. Las explicaciones de una frase suelen ser más valiosas que las puntuaciones: te dicen qué corregir en la próxima versión.

Cómo analizar los resultados

Cuando ya tienes los juicios, el análisis lleva una hora, no una semana. Esta es una secuencia sencilla.

1. Agrega cada par. Con tres evaluadores por par, quédate con el voto mayoritario. Si los tres discrepan (A, B y Empate), cuenta el par como empate.

2. Calcula la tasa de victorias. La convención habitual es contar un empate como media victoria para cada lado. Por ejemplo, de 400 pares, la versión B ganó 212, la versión A ganó 148 y hubo 40 empates. La tasa de victorias de B es (212 + 20) / 400 = 58%.

3. Comprueba el margen de error. Con 400 comparaciones, el margen es de unos ±5 puntos porcentuales, así que la tasa de victorias real de B está aproximadamente entre el 53% y el 63%. Todo el rango está por encima del 50%, así que B es realmente mejor. Si el rango cruzara el 50%, necesitarías más datos antes de decidir.

4. Desglosa los resultados por categoría. Una victoria global puede ocultar una derrota en un segmento importante. Divide los prompts por tipo (preguntas de facturación, problemas técnicos, quejas) o por idioma, y comprueba la tasa de victorias de cada grupo.

5. Lee los comentarios de las derrotas. Ordena los pares en los que perdió la nueva versión y lee las explicaciones de los evaluadores. Los patrones aparecen enseguida: “demasiado larga”, “no respondió a la segunda pregunta”, “se inventó un precio”.

6. Comprueba el acuerdo. Si el acuerdo en alguna categoría es mucho más bajo que en el resto, probablemente los criterios de esa categoría no están claros y sus resultados merecen menos peso.

7. Compara con tu LLM juez. Pasa los mismos pares por tu juez automático y mira con qué frecuencia coincide con la mayoría humana. Así sabrás cuánto puedes fiarte de él entre una ronda de evaluación humana y la siguiente.

Cómo hacer una evaluación en RapidWorkers y cuánto cuesta

No necesitas un equipo interno dedicado ni un contrato con una agencia para hacer evaluación humana. Puedes mostrar los pares de respuestas en la herramienta que prefieras (Google Forms, Typeform, Label Studio o tu propio formulario) y reclutar evaluadores con una campaña en RapidWorkers. El trabajador abre el enlace, evalúa un lote de pares y envía un código de finalización como prueba. Tú comparas el código con las respuestas de tu formulario y aceptas o rechazas el trabajo.

Así se pone en marcha:

  1. Agrupa los pares en tareas. Un tamaño práctico es de 10 pares por tarea, incluidos 1–2 pares de control. Eso son 10–15 minutos de trabajo: lo bastante para que el trabajador se haga con las instrucciones y lo bastante poco para que no se canse.
  2. Crea una campaña. Pega las instrucciones con ejemplos y el enlace a tu formulario, e indica qué hay que enviar como prueba.
  3. Selecciona los países. Si tu producto está en español para México, los evaluadores deberían ser personas que viven en México. Para saber más sobre la segmentación por países, consulta nuestra guía de recopilación de datos para entrenar IA.
  4. Haz un piloto de 10 tareas. Revisa los pares de control, el tiempo de realización y los comentarios, y ajusta las instrucciones si hace falta.
  5. Amplía la escala y revisa el trabajo. El trabajo rechazado no se paga y, si terminas una campaña antes de tiempo, el presupuesto no usado vuelve a tu saldo.

Estas son las cuentas de una comparación típica entre dos versiones de un modelo (la recompensa es solo ilustrativa; la fijas tú):

Parámetro

Valor

Pares de respuestas

400

Evaluadores por par

3

Juicios en total

1,200

Pares por tarea

10

Tareas

120

Recompensa por tarea

$0.80

Pagado a los trabajadores

$96.00

Comisión de RapidWorkers (15%)

$14.40

Total

$110.40

Un piloto de 10 tareas con la misma recompensa cuesta $9.20. Por ese dinero obtienes una respuesta que ninguna métrica automática puede darte: qué versión prefieren las personas reales y por qué.

Guarda los resultados junto con los comentarios de los evaluadores. Los pares evaluados por personas se amortizan dos veces: como conjunto de referencia para validar tu LLM juez y como conjunto de prueba para futuras comprobaciones de regresión.

Preguntas frecuentes: evaluación humana de LLM

¿Qué es la evaluación humana en machine learning?

Es la valoración de los resultados de un modelo por parte de personas reales según criterios definidos de antemano: precisión, utilidad, tono y seguridad. En los modelos de lenguaje, los formatos más habituales son la comparación por pares de dos respuestas y la puntuación en una escala o con un checklist.

¿Puede un LLM juez sustituir por completo a los evaluadores humanos?

Para las comprobaciones rutinarias, a menudo sí, pero solo después de comparar las puntuaciones del juez con juicios humanos sobre tus propios datos. Los modelos juez son sensibles al orden y la longitud de las respuestas y rinden peor en idiomas con pocos recursos. Las decisiones de lanzamiento y las revisiones de seguridad conviene que las confirmen personas.

¿Cuántos evaluadores y comparaciones necesito?

Para decidir cuál de dos versiones es mejor, suelen bastar 300–500 pares con tres juicios cada uno. 400 comparaciones dan un margen de error de la tasa de victorias de unos ±5 puntos porcentuales. Para detectar una diferencia muy pequeña, necesitarás alrededor de mil.

¿Necesito expertos para evaluar las respuestas del modelo?

Solo si la evaluación requiere conocimientos especializados: medicina, derecho, código complejo. La claridad, la utilidad y el tono los juzgan mejor personas corrientes que se parecen a tus usuarios, ya que son ellos quienes leerán esas respuestas.

¿Cuánto cuesta la evaluación humana?

Depende de la complejidad y del volumen. En el ejemplo de este artículo, comparar dos versiones de un modelo en 400 pares con tres evaluadores por par cuesta unos $110 en RapidWorkers, comisión incluida. La evaluación por expertos en campos especializados cuesta bastante más.

¿Cómo evalúo un modelo en un idioma distinto del inglés?

Busca evaluadores que sean hablantes nativos del país donde se usará el producto. Traduce las instrucciones y los ejemplos, añade un criterio de “lenguaje natural” y limita la campaña a los países correspondientes.

¿Cuánto tarda una evaluación humana?

Preparar el conjunto de prompts, las instrucciones y el formulario suele llevar uno o dos días. Un piloto de 10 tareas normalmente se completa en unas horas, y el lote principal depende del volumen y de lo estrecha que sea la segmentación por países. El análisis lleva alrededor de una hora una vez que tienes los datos.

¿En qué se diferencia la evaluación humana del RLHF?

La evaluación humana mide lo bueno que ya es un modelo. El RLHF (aprendizaje por refuerzo a partir de retroalimentación humana) usa las preferencias humanas para seguir entrenando el modelo. La materia prima puede parecerse (personas que comparan u ordenan respuestas), pero el objetivo es distinto: un veredicto sobre la calidad frente a datos de entrenamiento.

Conclusión: las personas tienen que estar donde se deciden los lanzamientos

Las métricas automáticas y los LLM jueces te dan velocidad, pero no responden a la pregunta principal: ¿el producto mejoró de verdad para las personas reales? Una evaluación humana fiable se construye con piezas sencillas: comparación por pares en lugar de puntuaciones abstractas, 2–4 criterios claros, instrucciones con ejemplos, pares de control y tres juicios por elemento. El tamaño de la muestra se calcula de antemano, y la evaluación en sí cuesta decenas de dólares, no miles.

Empieza en pequeño: toma 100 prompts reales, recoge las respuestas de ambas versiones y haz un piloto. Crea una campaña en RapidWorkers, selecciona los países de tus usuarios y los primeros juicios ya te mostrarán hacia dónde va tu modelo.

¿Listo para empezar?

Únete a miles de trabajadores y empleadores que ya usan RapidWorkers para completar tareas rápido.

  • Sin suscripción
  • Cancela cuando quieras
  • Disponible 24/7
  • Resolución de disputas