Solución · AI Operations
Evaluar la calidad de tus agentes de IA: la función que los mide, vigila y corrige en producción —antes de que el error lo note el cliente
Un agente que pasó la demo no es un agente que funcione en producción: se degrada solo cuando cambia el modelo, el prompt o el mundo, y nadie se entera hasta que un cliente se queja. Evaluar su calidad no es una prueba que se hace una vez; es una función que corre —muestrear, puntuar contra un criterio, detectar regresiones y corregir— para que la calidad deje de ser una impresión y pase a ser un número que vigilas.
El problema
La calidad de un agente no se mide cuando acierta en la demo. Se mide cuando duda en producción, y hoy nadie la mira.
- El agente pasó la demo y se dio por bueno; desde entonces nadie sabe si sigue respondiendo bien, porque no hay forma de medirlo salvo esperar a que alguien se queje.
- Cambiasteis el modelo, ajustasteis un prompt o el proveedor actualizó por su cuenta, y el comportamiento cambió sin que nadie lo comparara con el de antes: la regresión se descubre en un cliente, no en una prueba.
- La única señal de calidad son las quejas, que llegan tarde y solo de la punta del iceberg; los errores silenciosos —la respuesta plausible pero equivocada— no los ve nadie.
- Cuando toca decidir si un cambio se despliega, no hay número que lo respalde: se sube por intuición y se reza, porque no existe un criterio contra el que puntuar antes de soltar.
Coste de seguir igual
Un agente sin evals no es un sistema, es una apuesta que se degrada sola. El coste no es solo el error puntual: es no saber si tu agente está mejor o peor que la semana pasada, y por tanto no poder mejorarlo ni defender que funciona. Cuando la única métrica es la queja, cada regresión la paga un cliente antes que un panel, la confianza en el agente cae y la reacción por defecto es apagarlo o dejarlo languidecer supervisado a mano —que es tirar la inversión—. Y como el modelo, el prompt y el mundo cambian cada pocas semanas, una calidad validada hace tres meses no dice nada de la de hoy.
La solución
Montamos y operamos la función de evaluación de tus agentes —evals continuas: muestrear, puntuar, detectar regresiones, gate y corregir— para que la calidad deje de ser una impresión y pase a ser un número que vigilas y defiendes
- 1Definimos el criterio: qué es una respuesta buena para tu caso —exactitud, tono, seguridad, formato, políticas— traducido a una rúbrica y a un conjunto de casos de prueba con las respuestas correctas, tuyas, no genéricas.
- 2Muestreamos y puntuamos en continuo: cogemos conversaciones reales de producción, las evaluamos contra la rúbrica —con jueces automáticos y revisión humana donde importa— y convertimos la calidad en una métrica que se sigue en el tiempo, no en una anécdota.
- 3Detectamos regresiones y deriva: cada cambio de modelo, prompt o herramienta se puntúa contra el criterio ANTES de desplegarse (gate), y en producción saltan alertas cuando la calidad cae, aunque nadie se haya quejado todavía.
- 4Cerramos el bucle: cada fallo detectado alimenta acciones correctivas —ajuste de prompt, ejemplo nuevo, barrera— y vuelve a la batería de casos, así el agente mejora en vez de degradarse. Todo medido: tasa de aprobado por rúbrica, regresiones cazadas antes de producción, deriva detectada y tiempo hasta corregir.
Lo que cambia
Lo que dejas de perder
La calidad deja de ser una impresión: pasa a ser una métrica que se sigue en el tiempo, así se sabe si el agente está mejor o peor que la semana pasada antes de que lo diga un cliente.
Mecanismo
Las regresiones se cazan antes de producción: un cambio de modelo o de prompt se puntúa contra el criterio y solo se despliega si no empeora, en vez de descubrir el fallo en un cliente.
Mecanismo
El error silencioso deja de esconderse: el muestreo continuo saca la respuesta plausible pero equivocada que las quejas no capturan, porque casi nadie reclama, solo se va.
Mecanismo
Qué medimos: tasa de aprobado por rúbrica, regresiones cazadas antes de producción, deriva detectada en continuo y tiempo desde el fallo hasta la corrección.
Qué medimos
Ficha técnica
- Trabajo que elimina
- que la calidad de tus agentes de IA en producción no la mida nadie y solo se descubra cuando un cliente se queja, sin criterio, sin muestreo y sin gate antes de desplegar un cambio
- Implementación habitual
- 2–4 semanas
- Entrada
- las conversaciones reales de tus agentes en producción, los cambios de modelo, prompt y herramientas que se despliegan, y las quejas que llegan tarde y solo de la punta del iceberg
- Salida
- la calidad de cada agente puntuada en continuo contra una rúbrica propia, con regresiones cazadas antes de producción, deriva detectada con alerta y un ciclo de corrección que vuelve a la batería de casos
- Compatible con
- OpenAIAnthropicAzure OpenAIAmazon BedrockGoogle Vertex AI
- Puede conectarse con
- Tus agentes y sus registros de producciónTus frameworks de evals (LangSmith, Promptfoo, Braintrust)Tu panel de calidad y tu gate de despliegue
- Qué medimos
- tasa de aprobado por rúbricaregresiones cazadas antes de producciónderiva detectada en continuotiempo desde el fallo hasta la corrección
- Adecuado para
- empresas con uno o varios agentes de IA en producción cuya calidad hoy nadie mide de forma sistemática y que necesitan gobernarla —medirla, vigilarla y defenderla— antes de escalar
- No adecuado para
- quien aún está en prototipo sin tráfico real que muestrear, o quien busca una única auditoría puntual en vez de una función de calidad que corra en continuo
Preguntas frecuentes
Probarlo una vez es la foto del día del estreno; esto es la película. Un agente en producción se degrada solo cuando cambia el modelo, se ajusta un prompt o el mundo se mueve, así que una prueba de lanzamiento no dice nada de la calidad de dentro de tres semanas. Lo que montamos corre en continuo: muestrea conversaciones reales, las puntúa contra tu criterio y avisa cuando la calidad cae. La prueba inicial es un punto; la función es la línea.
Tú, y lo dejamos por escrito antes de medir nada. La rúbrica —exactitud, tono, seguridad, formato, tus políticas— y la batería de casos con las respuestas correctas salen de tu negocio, no de una plantilla. Nosotros ponemos el método —jueces automáticos para el volumen, revisión humana donde importa— y la disciplina para que el criterio no se lo invente cada uno. Sin un criterio tuyo, «calidad» es una opinión; con él, es un número.
Ni ciegamente ni nada: los usamos para lo que hacen bien —revisar mucho volumen contra criterios claros— y los calibramos contra revisión humana en una muestra, para saber cuánto aciertan. Lo delicado o lo ambiguo va siempre a persona. El objetivo no es sustituir el criterio humano por una IA jueza, es escalarlo: que una muestra revisada por gente marque el listón y el juez automático lo aplique al resto, vigilado.
Con los que ya tienes. Trabajamos sobre tus agentes y sus logs de producción y sobre frameworks de evals estándar —LangSmith, Promptfoo, Braintrust y similares— sea cual sea tu proveedor de modelos. No te pedimos rehacer el agente ni cambiar de herramienta: montamos la función de evaluación encima de lo que ya corre en producción.
¿Lo montamos en tu negocio?
Tú tienes el problema localizado. Nosotros lo dejamos funcionando y medido.