Escenario ilustrativo. Una distribuidora lanza un agente que clasifica las incidencias de pedidos y propone la respuesta al cliente. El día del lanzamiento hay tarta. A la tercera semana, tres personas opinan sobre si va bien y cada una mira una cosa distinta: una cuenta los casos que resuelve, otra los que le devuelven, y la tercera solo se acuerda del que salió mal. Nadie tiene una fecha para decidir si el agente se queda, se ajusta o se apaga.
La tesis en una línea: el lanzamiento no es la meta, es el inicio del periodo más barato para corregir un agente, y ese periodo se desperdicia si no tiene un calendario. Cada semana de los primeros treinta días tiene que responder una pregunta distinta, y al final alguien con nombre tiene que firmar una decisión.
¿Qué pasa en las primeras semanas de un agente de IA en producción?
En las primeras semanas de un agente de IA en producción pasa lo que la demo no podía enseñar: llegan los casos reales, con sus formatos raros, sus excepciones y sus clientes impacientes. Es también el momento en que corregir sale más barato. El volumen todavía es bajo, los cambios se despliegan sin pedir permiso a media empresa y las personas aún recuerdan cómo se hacía el trabajo antes, así que detectan rápido cuándo el agente se desvía.
Después sube el coste de cada corrección: más volumen, más gente que depende del agente, más historial que no quieres romper. Por eso conviene tratar el primer mes como una fase con reglas propias y no como «el agente ya está en marcha». Son cuatro señales que se miran siempre: las excepciones (lo que el agente no sabe resolver), las correcciones humanas (lo que la gente arregla después de él), la deriva (cuánto se aleja de lo que se probó) y el coste real por caso.
Semana 1: ¿hace lo que firmamos?
La primera semana no se mide, se lee. Una persona revisa a mano una muestra amplia de casos cada día, a ser posible la misma que montó el agente y la que conocía el proceso anterior. Quince minutos diarios bastan si la muestra está bien elegida: los casos fáciles, los dudosos y todos los que el agente escaló.
La pregunta de esta semana es si el agente hace exactamente lo que se acordó que hiciera, y solo eso. Se comprueban tres cosas: que no toca nada fuera de su perímetro (los permisos que le diste, no los que podría tener; los niveles de autonomía de un agente sirven de lista de control), que cada caso deja rastro suficiente para reconstruir qué pasó, y que existe una lista de «casos que nadie previó» con fecha y dueño. Esa lista es el activo más valioso de la semana: es el trabajo real que la demo se saltó.
Semana 2: ¿qué corrige la gente después del agente?
En la segunda semana se mira lo que los humanos arreglan. Cada corrección es información gratis sobre dónde falla el agente, pero solo si se registra qué se corrigió y por qué. La regla práctica es sencilla: una corrección aislada es un error; la misma corrección tres veces es una regla que falta.
Se separan las correcciones por tipo: dato mal extraído, decisión equivocada, tono o formato, y caso que debió escalarse y no se escaló. La última es la más cara, porque indica que el agente no sabe cuándo no sabe; el criterio para eso está en qué hace un agente cuando no sabe. Y se calcula una métrica de rendimiento con la misma vara que usarás después, como explica la guía sobre medir el rendimiento de tus automatizaciones: si cambias de métrica a mitad de mes, no vas a poder comparar nada.
Semana 3: ¿se acumulan las excepciones y se mueve el terreno?
La tercera semana es la de las excepciones y la deriva. Las excepciones son el trabajo que el agente devuelve a las personas, y lo que importa no es cuántas hay sino si alguien las atiende, con qué retraso y si la cola crece o se estabiliza. Una cola que nadie priorizó es donde acaba el ahorro, como cuenta la cola de excepciones, donde muere el ahorro.
La deriva se mide contra algo concreto: un banco de casos con la respuesta correcta conocida, el mismo que usaste para aprobar el lanzamiento. Lo repasas ahora y compruebas si el agente sigue respondiendo igual. Si ha cambiado el proveedor del modelo, un formato de entrada o una herramienta conectada, aquí lo ves antes de que lo vea el cliente. Que el comportamiento empeore con el tiempo no es mala suerte, es lo normal, y lo explicamos en por qué tu piloto funcionó en enero y no en junio.
Semana 4: ¿cuánto cuesta de verdad cada caso y qué decidimos?
La cuarta semana se pone precio. El coste por caso no es la factura del modelo: suma las horas de quien revisa, de quien atiende las excepciones y de quien reajusta, más el tiempo de quien monta el informe. Si el único coste que tienes en pantalla son los tokens, estás mirando la parte barata. Para tener esas cifras en vivo sin construir el panel a mano existe la función de monitorizar la IA en producción.
Con las cuatro semanas delante, se toma una decisión por escrito. No hay cuarta opción de «ya veremos»:
| Decisión | Cuándo toca | Qué implica |
|---|---|---|
| Declarar estable | Las correcciones repetidas bajan, la cola de excepciones no crece y el coste por caso está dentro de lo acordado | Pasa a revisión por muestreo y a la rutina de mantenimiento |
| Prolongar con cambios | Hay una causa identificada y arreglable, pero el número aún no sostiene el caso | Se fija un plazo y un cambio concreto, no «unos días más» |
| Parar o reducir autonomía | Las mismas correcciones aparecen cada semana o nadie puede explicar el coste | Vuelve a modo asistente o se apaga; es un resultado válido, no un fracaso |
¿Cuándo NO declarar estable a un agente al final del mes?
Hay cuatro situaciones en las que firmar «estable» es un error aunque los números pinten bien. Una: el volumen de las cuatro semanas fue tan bajo que no apareció ningún caso raro; un mes tranquilo no demuestra nada. Dos: el mes incluyó un cambio de proveedor o de proceso y no se repitió el banco de casos después. Tres: la decisión la tomó quien montó el agente, sin que firmara quien responde del proceso; sobre eso trata criterios de aceptación de un agente de IA: quién firma el OK. Y cuatro: nadie tiene nombre y turno asignados para mirar el agente la semana siguiente.
Declarar estable no significa dejar de mirar. Significa pasar de la revisión intensiva a una rutina más ligera, con el calendario de mantenimiento de las automatizaciones con IA y el agente ya inventariado. Si el salto de piloto a operación es justo donde se te atasca, la función de llevar un piloto de IA a producción cubre ese tramo.
Qué te llevas
Lo que cambia con este calendario no es la técnica, es la costumbre: cada semana una pregunta, una persona con nombre y una decisión al final. Semana uno, ¿hace lo firmado? Semana dos, ¿qué corrige la gente? Semana tres, ¿se acumulan excepciones o se mueve el terreno? Semana cuatro, ¿cuánto cuesta y qué decidimos? Un agente que sobrevive a esas cuatro preguntas ha ganado el derecho a una vida aburrida, que es exactamente lo que quieres de él.
Nota: este artículo no usa cifras de terceros. El escenario es ilustrativo, y los plazos y umbrales de cada decisión dependen del proceso, el volumen y el riesgo de cada empresa; fíjalos antes del lanzamiento, no después.