En la demo, el número brilla: «95% de acierto». Aplausos, cabezas asintiendo, alguien apunta que es «casi perfecto». Y lo parece —hasta que el sistema entra en producción y ese 95% se traduce a lo que de verdad significa: una respuesta mala de cada veinte. A cien casos al día, son cinco errores diarios. A mil, cincuenta. Y a diferencia de la demo, donde enseñas los aciertos, en producción los fallos no se esconden: caen delante de un cliente, en un correo enviado, en un dato que alguien se creyó.
La tesis en una frase: la precisión de la IA en producción no es un número que se persigue hacia el 100, es un umbral que depende del coste del error. Un 95% puede sobrar en una tarea y ser un desastre en otra, y la cifra sola —fuera de contexto— no te dice cuál de las dos es la tuya. Lo que decide si tu sistema está listo no es cuánto acierta, sino qué pasa cuando se equivoca y quién lo ve.
Qué significa de verdad la precisión de la IA en producción
Un 95% de precisión suena a matrícula de honor porque lo leemos como nota de examen. Pero en producción no es una nota, es una tasa de fallo repartida sobre volumen. El 5% que queda no se evapora: se acumula caso a caso, día a día, y crece con el tráfico. El sistema que en la prueba fallaba «casi nunca» empieza a fallar todos los días en cuanto procesa de verdad, simplemente porque hay más casos donde equivocarse.
Hay una segunda trampa en la propia palabra «precisión»: es una media, y las medias esconden. Un 95% global puede significar que aciertas el 99% de los casos fáciles y el 60% de los difíciles —que son justo los que importan—. En una demo se enseñan los casos fáciles; en producción llegan los raros, los ambiguos, los que nadie previó. Por eso una cifra media sin ver dónde caen los errores es marketing, no una medida de si el sistema aguanta.
El umbral no es un número, es el coste del error
La pregunta útil no es «¿qué precisión tiene?», sino «¿qué cuesta cada error y quién lo sufre?». El mismo 95% es excelente o inaceptable según lo que pase cuando falla. Este es el mapa corto:
| Qué hace el sistema | Coste de un error | ¿Basta un 95%? |
|---|---|---|
| Sugerir un borrador que un humano revisa antes de enviar | Bajo: se corrige antes de salir | Sí, de sobra |
| Clasificar y enrutar (tickets, documentos, leads) | Medio: se re-enruta o se revisa | Normalmente sí |
| Responder a un cliente sin revisión humana | Alto: daño reputacional o legal | No |
| Decidir sobre dinero, salud o cumplimiento | Crítico: irreversible o sancionable | Ni de lejos |
Fíjate en que la tecnología es la misma en las cuatro filas; lo que cambia es la red que hay debajo. Cuando el error es barato y hay quien lo caza antes de que salga, el 95% es una gran noticia. Cuando el error es caro y sale directo, sin revisión, ese mismo 95% es una bomba de relojería con cuenta atrás en función del volumen. El umbral, por tanto, no se hereda del benchmark del proveedor: se decide tarea a tarea, mirando qué pasa el día que se equivoca.
El 5% no desaparece: se gestiona
El 100% no existe, y perseguirlo es la forma más cara de no terminar nunca. El trabajo serio no es exprimir dos décimas más de precisión; es diseñar qué le pasa al 5% que siempre va a fallar. Un sistema en producción no se juzga por lo bien que va cuando acierta, sino por lo bien que se comporta cuando falla. Eso se construye con cuatro piezas:
- Detectar la incertidumbre. Un buen sistema sabe cuándo no está seguro y lo dice, en vez de responder con la misma confianza a lo que domina y a lo que no. Esa señal es la que dispara todo lo demás.
- Contener con revisión humana donde el error es caro. No en todo —eso mata el ahorro—, sino justo en los casos de alto coste. Es el humano en el bucle puesto donde de verdad hace falta: filtrar el 5% peligroso, dejar pasar el 95% seguro.
- Medir con casos reales, no con los fáciles. Un sistema de evaluación que corre tus casos difíciles —no una muestra amable— es lo único que te dice si el 95% es real o de escaparate.
- Acotar: que diga «no lo sé». Un sistema que reconoce que no puede responder algo vale más que uno que inventa con aplomo. El error silencioso, el que parece correcto y no lo es, es el más caro de todos.
Esta es, por cierto, la diferencia entre un proyecto que llega a producción y uno que se queda en piloto eterno. Los pilotos mueren cuando alguien descubre que el 5% no estaba gestionado y nadie se atreve a soltarlo sin red. Es una de las razones de fondo de por qué fracasan los proyectos de automatización con IA: no por falta de precisión, sino por falta de plan para el error.
Por qué la cifra del proveedor miente un poco
Cuando un proveedor te enseña «95%», casi nunca es sobre tus datos: es sobre su benchmark, elegido por él, con una distribución de casos que no tiene por qué parecerse a la tuya. Tu 95% real puede ser un 88% en cuanto le metes tus casos raros, tu jerga, tus excepciones. No es mala fe necesariamente; es que la precisión no es una propiedad del modelo, es una propiedad de la pareja modelo + tus datos. Medirla bien es correr evaluaciones sobre tus propios casos antes de confiar en el número, no después de la primera queja.
Y hay un matiz que ahorra discusiones: pide siempre que separen la precisión de los casos fáciles de la de los difíciles. Si el proveedor solo tiene la media global, no ha mirado dónde duele. Si la tiene desglosada y te la enseña, estás tratando con alguien que sabe lo que vende.
Entonces, ¿cuándo basta un 95%?
La respuesta honesta en dos frases. Basta cuando el error es barato y hay red: un humano que revisa lo caro, un reintento, un «no lo sé» que evita inventar. No basta cuando el error es caro y sale directo al cliente sin nadie que lo filtre. La cifra, sola, no te dice en cuál de los dos mundos estás; te lo dice el diseño que rodea al 5%. Por eso, cuando alguien te venda un porcentaje como argumento final, la pregunta correcta no es «¿seguro que es 95?», es «¿y qué pasa con el otro 5?».