← Todo el glosario
Evaluación de agentes
capacidadagent evals · evaluación de LLMs
La medición sistemática de la calidad de un agente antes y durante producción: si acierta, con qué fiabilidad, dónde falla y si mejora o empeora al cambiar algo.
La evaluación de agentes combina conjuntos de prueba, métricas de calidad (exactitud, utilidad, seguridad), evaluación por LLM-as-judge o humana, y monitorización de regresiones al iterar. Sin evaluación no hay forma honesta de decir que un agente está listo para producción ni de detectar cuándo se degrada.
En qué se diferencia de
- Observabilidad
- La observabilidad registra lo que pasó; la evaluación juzga si estuvo bien respecto a un criterio o conjunto de prueba.