Evaluación humana

Plataforma de evaluación humana para modelos de IA

Descubre cómo funciona tu modelo para personas reales. Evaluadores en los países que elijas califican, comparan y revisan los resultados de tu modelo, desde respuestas de chatbot hasta imágenes generadas y voces sintéticas.

Texto, imagen y audio · Muchos evaluadores por elemento · Cualquier idioma

Persona comparando dos respuestas de un modelo lado a lado

200+

Países

13,487

Tareas completadas

195,000+

Trabajadores registrados

~4 Hours

Tiempo medio hasta resultados

Cómo funciona

Del conjunto de prueba a las puntuaciones humanas

Prepara tus resultados, escribe las preguntas y recoge juicios independientes de muchas personas.

Persona preparando resultados de un modelo de IA para una tarea de evaluación humana
01 · Preparar

Prepara tu conjunto de prueba

Incluye en la tarea un conjunto numerado de resultados: el texto en las instrucciones, y las imágenes o el audio como archivos de referencia.

  • Texto en las instrucciones de la tarea
  • Imágenes o audio como archivos de referencia
  • Conjunto de elementos numerados
Portátil que muestra criterios de evaluación y reglas de calificación
02 · Reglas

Escribe las reglas de evaluación

Define los criterios, la escala de calificación y ejemplos de resultados buenos y malos para que los evaluadores juzguen de la misma forma.

  • Criterios que tú defines
  • Escala de calificación o comparación
  • Ejemplos de resultados buenos y malos
Persona comparando dos respuestas de un modelo lado a lado en una pantalla
03 · Recoger

Recoge juicios independientes

Cada evaluador completa tu tarea una sola vez, así que cada elemento recibe opiniones de personas distintas.

  • Un envío por evaluador
  • Muchas opiniones por elemento
  • Los países e idiomas que elijas
Persona revisando envíos de evaluación humana en una computadora
04 · Revisar

Revisa y analiza

Aprueba los envíos cuidadosos, rechaza los descuidados y exporta las respuestas para comparar puntuaciones entre versiones del modelo.

  • Aprueba o rechaza cada envío
  • Exporta las respuestas para analizarlas
  • Compara puntuaciones entre versiones
Cómo trabajamos

Hazlo tú mismo o déjalo en nuestras manos

Lanza tareas de evaluación en la plataforma o deja el proyecto en manos de nuestro equipo para una entrega de principio a fin.

Autoservicio

Lanza tú mismo tareas de evaluación

Crea una tarea, añade las salidas de tu modelo y tus reglas de calificación, elige los países y revisa tú mismo los resultados.

Crear una tarea de evaluación

Totalmente gestionado

Deja que nuestro equipo haga la evaluación

Diseñamos la evaluación, reclutamos y seleccionamos evaluadores, hacemos controles de calidad y entregamos resultados limpios en tu formato.

Habla con nosotros
Precios

Calcula el costo de tu evaluación

Tú fijas el pago por tarea. Un envío equivale a los juicios de un evaluador sobre tu conjunto de elementos. La comisión de plataforma del 15 % está incluida.

?
?
min
?
$
FAQ

Preguntas frecuentes

Tú fijas el pago de cada tarea, desde $0.10, más una comisión de plataforma del 15 %. Un envío equivale a los juicios de un evaluador sobre tu conjunto de elementos, y una campaña empieza desde $0.30, así que puedes hacer primero un piloto de 20 a 50 elementos.

Cualquier modelo cuyo resultado una persona pueda leer, ver u oír: chatbots y modelos de lenguaje, generadores de imágenes, síntesis de voz, reconocimiento de voz, traducción, búsqueda y recomendaciones.

Comparación lado a lado, escalas de calificación del 1 al 5, puntuación media de opinión para voz y audio, verificaciones de tipo pasa/no pasa, etiquetado de errores y comentarios abiertos. La comparación lado a lado funciona bien para pruebas A/B entre dos versiones de un modelo.

Incluye un conjunto numerado de resultados de texto en las instrucciones de la tarea y sube imágenes o audio como archivos de referencia. Los evaluadores los revisan y envían sus puntuaciones y comentarios como respuesta.

Para verificaciones claras pueden bastar uno o dos; para calidad subjetiva, como la naturalidad o la preferencia, usa tres o más y compara las respuestas. Añade elementos de control, pide razones breves y rechaza los envíos descuidados.

Usuarios corrientes de muchos países, ideales para juzgar claridad, utilidad, naturalidad e idioma más que hechos especializados. Elige países donde se hable tu idioma e indícalo en tus instrucciones; las descripciones de las tareas se escriben en inglés.

Sí. Diseñamos la evaluación, reclutamos y seleccionamos evaluadores, hacemos controles de calidad y entregamos resultados limpios en tu formato.