La tesis en una frase: el día que un agente haga algo que haya que explicar, nadie te va a preguntar por su tasa de acierto. Te van a preguntar qué pasó en ese caso concreto, y vas a tener exactamente lo que hayas decidido guardar seis meses antes.
La escena se repite. Un cliente reclama, un auditor pregunta, un jefe quiere saber. Alguien abre el panel de control del agente y enseña un 96 % de acierto. Y la respuesta al otro lado es siempre la misma: «muy bien, pero yo te estoy preguntando por el caso de Marta, el del 14 de marzo». El 96 % no contesta esa pregunta. No la contesta porque mide otra cosa.
Ese desajuste tiene nombre y no es un fallo técnico: es que se compró una capa creyendo que se compraban tres.
Rendimiento y evidencia auditable no son la misma pregunta
El rendimiento es una pregunta agregada y en presente: ¿va bien el sistema, cuánto cuesta, dónde se degrada? Se responde con una curva y sirve para operar. La evidencia auditable es una pregunta singular y en pasado: ¿por qué salió así esta decisión, la de este cliente, la de este día? Se responde con un expediente y sirve para defenderse.
Son preguntas distintas, con respuestas distintas, y la trampa está en que la primera se ve y la segunda no. Un panel se enseña en una demo; un expediente reconstruido solo aparece cuando alguien lo necesita, que es siempre tarde para montarlo.
Las tres capas que el mercado vende como una
Cuando un proveedor dice «nuestros agentes son auditables», puede estar hablando de tres cosas que no se sustituyen entre sí. Sepáralas antes de comparar ofertas, porque casi todas cubren bien una y de pasada las otras dos.
| Capa | Cuándo actúa | Qué pregunta responde | Qué NO hace |
|---|---|---|---|
| Guardarraíles | Antes: preventivo | ¿Puede hacer esto? | No deja rastro de por qué se hizo lo que sí se hizo |
| Observabilidad | Durante: operativo, agregado | ¿Va bien hoy? | No reconstruye un caso concreto |
| Rastro de auditoría | Después: probatorio, singular | ¿Por qué salió así ESTE caso? | No evita nada; solo prueba |
La primera capa es de diseño: qué puede tocar el agente y hasta dónde llega solo. Se decide antes de conectar nada —está desarrollada en qué permisos dar a un agente de IA y en los niveles de autonomía de un agente— y su valor es que ciertas cosas no lleguen a pasar. Pero un guardarraíl que funciona es invisible: no produce prueba, produce ausencia de incidente.
La segunda es la que casi todo el mundo compra primero, y con razón: sin ella un agente se rompe en silencio. Es monitorizar la IA en producción, y responde en agregado. Su unidad es la métrica, no el caso.
La tercera es la que casi nadie tiene montada, porque exige decisiones incómodas: qué se guarda, con qué identificador y durante cuánto. Es la trazabilidad de decisiones de IA, y es la única que te sirve el día de la reclamación. Las tres son necesarias. Pero solo una responde la pregunta que te van a hacer.
Por qué tu log no te sirve de prueba
Aquí llega la objeción razonable: «nosotros lo registramos todo». Casi siempre es verdad, y casi siempre no sirve. Un registro operativo y un rastro probatorio se distinguen por dos propiedades que no son técnicas, son de gobierno.
- Integridad. Un rastro probatorio tiene que poder demostrar que no se ha tocado desde que se escribió. Si cualquiera con acceso al sistema puede editarlo o borrarlo sin dejar marca, no es prueba de nada: es una versión de los hechos escrita por una de las partes.
- Retención decidida. Un log rota. Se borra a los treinta días porque ocupa, o porque nadie pensó en ello. Un rastro tiene un plazo elegido a propósito, escrito, y alineado con el tiempo real en que aparecen las reclamaciones de tu negocio —que rara vez son treinta días—.
Y aquí está el choque que conviene anticipar: retener más tiempo empuja en dirección contraria a minimizar datos personales. No se resuelve con una herramienta, se resuelve con una política escrita por tipo de sistema: qué se guarda entero, qué se guarda seudonimizado, qué se guarda solo como referencia. Esa decisión es de negocio y de legal, no del proveedor. Si nadie la ha tomado, la política por defecto es la del que configuró la rotación por defecto.
Lo que la norma europea ya exige, y a quién
Conviene ser preciso, porque en esto se exagera en las dos direcciones. El Reglamento europeo de inteligencia artificial no obliga a registrar todo lo que hace cualquier IA. Sí lo hace para los sistemas clasificados de alto riesgo, y ahí la exigencia va por dos sitios.
El artículo 12 obliga a que el sistema permita técnicamente el registro automático de eventos durante su ciclo de vida, con capacidades que sirvan para identificar situaciones de riesgo y para vigilar su funcionamiento. Eso recae en quien fabrica.
La parte que casi nadie ha leído es el artículo 26, apartado 6, y esa recae en quien despliega: quien usa un sistema de alto riesgo debe conservar los registros generados automáticamente, en la medida en que estén bajo su control, durante un periodo adecuado a la finalidad prevista y de al menos seis meses, salvo que otra norma de la Unión o nacional diga otra cosa, en particular la de protección de datos personales. Fuente: Article 26: Obligations of Deployers of High-Risk AI Systems, EU Artificial Intelligence Act, consultado el 11 de septiembre de 2026.
Dos matices para no pasarse de frenada. El primero: la fecha de aplicación de estas obligaciones se ha movido, y la misma fuente sitúa la entrada en vigor del artículo 26 el 2 de diciembre de 2027 para los sistemas de alto riesgo del anexo III y el 2 de agosto de 2028 para los del anexo I, según el artículo 113. El segundo, más importante: si tu agente no es de alto riesgo, esto no te obliga. Pero la frase «en la medida en que estén bajo su control» ya te dice hacia dónde va el estándar del sector, y un cliente grande o un seguro pueden pedírtelo mucho antes de que te lo pida un regulador.
Las tres cosas que exigir por escrito antes de firmar
No hace falta un anexo de veinte páginas. Con tres preguntas contestadas por escrito sabes si tienes evidencia o si tienes un panel.
- Qué campos se registran, exactamente. No «registramos la actividad». La lista: identificador del caso de punta a punta, versión del modelo y de las instrucciones que aplicaban, qué se recuperó, qué herramientas se invocaron, qué política se aplicó y quién revisó. Si la respuesta es un adjetivo en lugar de una lista, no hay rastro.
- Dónde viven y cuánto tiempo. En qué sistema, bajo el control de quién, con qué plazo de retención y qué pasa al vencer. Un plazo por defecto que nadie eligió es una decisión tomada por omisión, y la vas a descubrir el día que la necesites.
- Quién puede exportarlos y en qué formato. Esta es la que más se olvida y la que más cara sale: el día que cambies de proveedor, ¿te llevas el rastro o se queda en su plataforma? Si no está escrito, asume que se queda.
Ninguna de las tres es una pregunta técnica difícil. Son preguntas que un proveedor serio contesta en un correo, y las que no se contestan en un correo te dicen más que las que sí.
Qué hacer esta semana
Elige un agente que ya esté trabajando y haz la prueba de los seis meses con un caso real. No hace falta más: en media hora vas a saber en cuál de las tres capas estás y cuál te falta. Si no puedes reconstruir el caso, la lista de arriba es tu conversación pendiente con quien te lo vendió.
Y si al reconstruirlo descubres que ni siquiera sabes qué versión de instrucciones estaba corriendo ese día, ese es un problema anterior y se arregla antes: las instrucciones de un agente de IA no son un prompt, son un documento con dueño, versión y fecha. Sin esa versión apuntada, el rastro más completo del mundo te deja a medias.
El resumen honesto: el rendimiento te dice si el sistema merece la pena; la evidencia auditable te dice si puedes sostenerlo delante de alguien. Lo primero se compra fácil. Lo segundo se decide antes y no se puede montar hacia atrás.