"Funciona muy bien." Es la frase que más veces se dice sobre un sistema de IA y la que menos se puede defender. Alguien lo probó un rato, le hizo cinco preguntas, salieron bien, y de ahí a "funciona" hay un salto de fe que en producción se paga caro. Cómo evaluar un sistema de IA en la empresa no es esa impresión: es medir, contra una base, si acierta —y cuánto se equivoca cuando lo hace.
La tesis en una frase: sin un set de evaluación —lo que en el oficio se llama evals— no sabes si tu IA funciona, solo lo parece. "Parece que va bien" no es una métrica; es una anécdota con buena suerte. Lo que separa un sistema que puedes poner delante de un cliente de un experimento que reza por no fallar es, casi siempre, si hay evals o no.
Cómo evaluar un sistema de IA en la empresa: por qué "parece que va bien" no es una métrica
Evaluar un sistema de IA en la empresa es comparar lo que responde contra lo que debería responder, sobre un conjunto de casos representativos, y sacar un número. En concreto: reúnes un set de entradas reales —las preguntas, documentos o tareas que de verdad le llegan—, defines cuál es la respuesta correcta o el criterio de acierto para cada una, y ejecutas ese set cada vez que cambias algo —el prompt, el modelo, los datos—. El resultado es una puntuación que se mueve: sube cuando mejoras, baja cuando rompes algo sin darte cuenta. Sin ese número, cada cambio es a ciegas y cada "va bien" es una opinión.
Qué es un eval (y en qué se diferencia de "probarlo un rato")
Probar un sistema a mano es útil el primer día y engañoso el segundo. Un eval es lo contrario de esa prueba informal en tres cosas:
- Es representativo, no anecdótico. No son las cinco preguntas que se te ocurren; son decenas o cientos de casos reales, incluidos los raros y los que ya fallaron alguna vez.
- Es repetible, no de una vez. Se ejecuta igual en cada cambio, así que compara manzanas con manzanas: sabes si la versión de hoy es mejor o peor que la de ayer, no si "te dio buena sensación".
- Da un número, no una impresión. Una tasa de acierto, una tasa de error, una de alucinación. Algo que puedes poner en una gráfica y vigilar cada semana.
La diferencia entre un sistema serio y un demo bonito está, casi siempre, en si existe ese número. El cómo técnico de montarlo —el set, los criterios, el bucle— lo desglosamos en la guía de cómo entrenar un agente IA: datos, evals y governance; aquí lo que importa es por qué sin él estás a ciegas.
Qué medir: las cuatro cosas que separan producción de fe
No hace falta medirlo todo desde el minuto uno. Con cuatro métricas sabes más de tu sistema que la mayoría de proyectos que llevan meses en marcha:
- Tasa de acierto. De los casos del set, en cuántos responde bien según tu criterio. Es la métrica madre; si no la tienes, no tienes nada.
- Tasa de error y de alucinación. No basta con cuánto acierta: importa cuánto se equivoca con aplomo. Un sistema que acierta el 90% pero inventa el otro 10% con total seguridad puede ser peor que uno más humilde.
- Cobertura de casos límite. Qué porcentaje de los casos raros —los que rompen a los sistemas flojos— pasan por el eval. Lo que no está en el set no se mide, y lo que no se mide se degrada en silencio.
- Deriva en el tiempo. El mismo eval, ejecutado cada semana. Un sistema de IA no se queda quieto: cambia el input, se degradan los prompts, el proveedor actualiza el modelo. La deriva se ve en la gráfica antes de que se vea en la queja del cliente.
El error de no tener evals desde el día uno
El fallo más caro no es tener malas evals: es no tener ninguna. Un sistema sin medición no falla el día del lanzamiento —falla despacio, y nadie se entera hasta que el error llega al cliente. Sin un número base no puedes demostrar que mejora, no puedes defender el gasto ante dirección, y no puedes distinguir un cambio que ayuda de uno que rompe. Es, de hecho, una de las causas con nombre por las que fracasan los proyectos de automatización con IA: cero medición, cero forma de saber si el proyecto sigue vivo o es un zombi que nadie se atreve a apagar.
Evals no es un proyecto, es un hábito
La trampa es tratar las evals como una fase ("ya las montaremos al final"). Al final es tarde: el sistema ya está en producción tomando decisiones que no puedes auditar. Lo barato y lo sensato es al revés —empezar con un set pequeño el día uno y hacerlo crecer con cada caso raro que aparece. No es un entregable que se firma y se olvida; es la rutina que mantiene el sistema honesto.
Medir bien no es glamuroso, pero es lo único que convierte "creemos que funciona" en "sabemos que funciona". Si vas a poner IA a trabajar en tu empresa y quieres que aguante, esto es cimiento, no adorno —y es justo lo que montamos en la infraestructura de IA empresarial: el sistema, sus evals y el bucle que lo mantiene medido en el tiempo. No te dejamos una IA que parece que va bien; te dejamos una que puedes demostrar que va bien —o que sabes exactamente dónde falla.