Evaluación de agentes (evals)
Calidadevals · evaluación de IA · banco de pruebas de agentes
Batería repetible de casos con resultado esperado que se pasa a un agente antes y después de cada cambio. Mide si el agente hace bien el trabajo del cliente, no si suena bien. Es lo que convierte «parece que funciona» en un número que puedes defender.
Una evaluación de agentes combina un dataset de casos representativos, un criterio de acierto explícito y una ejecución automatizable. Puede ser determinista (¿el importe conciliado coincide?), basada en referencia humana o con modelo juez. El AI Index 2026 de Stanford documenta el salto de los benchmarks agénticos públicos —OSWorld, SWE-bench Verified— pero también la brecha entre rendimiento en benchmark y resultado en producción. Posición editorial de Implementa: los benchmarks públicos sirven para elegir modelo, no para aceptar una entrega; el eval que cuenta es el que usa los casos reales del cliente y su definición de acierto. Ejecutar evals antes y después de cada despliegue es lo que permite detectar deriva de calidad en vez de descubrirla por una queja.
En qué se diferencia de
- Benchmark público
- Compara modelos entre sí; no dice si resuelve el caso del cliente.
- QA manual
- No es repetible ni comparable entre versiones; un eval sí.
Ejemplos
- 200 tickets históricos con la resolución correcta anotada, ejecutados en cada release del agente de soporte.
- Set de 50 contratos con las cláusulas que el agente debe extraer, con tolerancia cero a falsos negativos.
Preguntas frecuentes
- ¿Cuántos casos hacen falta?
- Los suficientes para cubrir los modos de fallo que duelen; se empieza pequeño y se amplía con cada incidente real.
- ¿Vale un modelo como juez?
- Sirve para criterios subjetivos, pero hay que calibrarlo contra juicio humano antes de fiarse.
Términos relacionados
Fuentes y lecturas
Stanford HAI — AI Index Report 2026, Chapter 2: Technical Performance · 2026-04-13 · E3