La tesis en una frase: a partir de cierto volumen, revisarlo todo a mano deja de ser revisión y se convierte en un sello. Si quieres seguir mirando lo que hace tu agente, la segunda línea tiene que ser automática —y tiene que ser otro agente, no el mismo con otra pregunta.
La revisión se diseñó cuando el agente hacía doce cosas al día. Una persona las leía todas, corregía dos y aprendía algo en el proceso. Funcionaba. Ocho meses después el agente hace cuatrocientas y la persona sigue siendo la misma, con el mismo calendario y las mismas reuniones. Nadie ha cambiado el procedimiento: sigue poniendo «revisado» en todas. Lo que ha cambiado es qué significa esa palabra.
Ahí no hay mala fe, hay aritmética. Cuatrocientas salidas a dos minutos de lectura honesta son más de trece horas. Nadie tiene trece horas, así que pasa lo que siempre pasa: se lee la primera línea, se comprueba que el formato cuadra y se aprueba. El control sigue existiendo en el organigrama y ha dejado de existir en la realidad.
Qué es un agente supervisor de IA y qué comprueba exactamente
Un agente supervisor de IA es un segundo agente cuyo único trabajo es mirar lo que produjo el primero antes de que la acción salga, contrastarlo contra una política escrita y emitir un veredicto: pasa, se bloquea o escala a una persona. No genera. No reescribe. No opina sobre si podría quedar mejor. Decide una sola cosa: si esto puede salir.
Lo que comprueba es deliberadamente aburrido, y por eso funciona. Son cuatro preguntas cerradas, con respuesta verificable:
- Que lo que afirma exista. Cada cifra, nombre, fecha o referencia de la salida tiene que poder señalarse en una fuente que se consultó. Si aparece un número que no está en ningún documento recuperado, no es un número: es una invención con formato de número.
- Que la acción esté dentro de lo permitido. Qué herramienta llamó, sobre qué registro, con qué importe, en nombre de quién. La política dice qué puede tocar; el supervisor comprueba que lo que va a tocar está en esa lista y no en otra.
- Que el caso se parezca a lo que la política previó. Idioma, tipo de cliente, jurisdicción, tamaño de la operación. Un caso que cae fuera de lo contemplado no está mal necesariamente: está sin cubrir, que es distinto y se trata distinto.
- Que no se haya saltado un paso obligatorio. Si el procedimiento dice que antes de contestar una reclamación hay que mirar el histórico, el supervisor comprueba si lo miró. Es la verificación más tonta de las cuatro y la que más veces salta.
Fíjate en lo que NO está en esa lista: «que la respuesta sea buena». La calidad media de un sistema se mide con evaluaciones sobre casos guardados, antes de desplegar, y eso es otra disciplina que desarrollamos en evaluaciones para saber si tu IA funciona de verdad. El supervisor no mide medias. Mira este caso, ahora, y decide si sale.
¿Por qué no vale con que el agente se revise a sí mismo?
Porque el sesgo está medido y tiene nombre. En Self-Preference Bias in LLM-as-a-Judge (Wataoka, Takahashi y Ri), los autores proponen una métrica para cuantificarlo y encuentran que GPT-4 puntúa significativamente mejor las salidas generadas por él mismo; su hipótesis es que los modelos favorecen aquello que les resulta más familiar, medido como menor perplejidad. Fuente: Self-Preference Bias in LLM-as-a-Judge, arXiv, 29 de octubre de 2024 (revisado en junio de 2025). Es un resultado técnico, no un dato de mercado: aplica igual en España que en Alemania.
Traducido a tu proceso: pedirle a un agente que se audite es pedirle que dude de la frase que hace dos segundos le pareció la más natural del mundo. Y lo hará, en un porcentaje de los casos, con mucho aplomo y poca utilidad.
El problema del modelo compartido es el más citado, pero no es el peor. El peor es el contexto compartido. Si el error nace de un documento mal recuperado, un revisor que lee exactamente ese mismo documento mal recuperado va a confirmar el error con entusiasmo y a marcarlo como verificado. La independencia no es aquí un principio moral: es la condición matemática para que la segunda mirada aporte información que la primera no tenía.
¿En paralelo o entre el agente y el sistema de destino?
Es la decisión de arquitectura que más se discute y la que peor se argumenta, porque casi siempre se plantea como una cuestión técnica cuando es una cuestión de qué error te puedes permitir. Solo hay dos posiciones.
| En paralelo (observador) | En medio (portero) | |
|---|---|---|
| Qué pasa si falla | La acción ya salió; te enteras después | La acción no sale; el proceso se para |
| Latencia que añade | Ninguna: corre después | La de una comprobación más en cada operación |
| Qué error evita | Ninguno; los documenta y te deja corregir | Los irreversibles, que son los que importan |
| Coste de un falso positivo | Bajo: una alerta de más | Alto: has bloqueado trabajo bueno |
| Dónde tiene sentido | Acciones reversibles, volumen alto, fase de rodaje | Dinero, terceros, datos regulados |
La regla que usamos es corta: el supervisor va en medio solo donde la acción es irreversible o sale de la empresa. En todo lo demás va al lado. Y se empieza en paralelo aunque vayas a acabar en medio, porque las dos primeras semanas su trabajo no es bloquear: es enseñarte cuántas veces habría bloqueado y con qué motivos. Ponerlo de portero el primer día es montar un freno con una tasa de falsos positivos desconocida.
Esto no es una decisión de tecnología, es una decisión de autonomía, y va pegada a la que ya tomaste al fijar los niveles de autonomía de un agente: cuanto más suelta corre la primera línea, más justificado está poner la segunda en el camino.
Pasar, bloquear o escalar: no hay una cuarta salida
Un supervisor con más de tres veredictos es un supervisor que opina. Los tres, y lo que cada uno obliga a construir:
- Pasa. La acción sale y queda registrado que pasó por el supervisor, contra qué versión de política y con qué resultado. Un «pasa» sin rastro no sirve de nada: dentro de seis meses, la distancia entre «se revisó» y «se puede demostrar que se revisó» es toda la distancia. Ese registro es el mismo del que hablamos en la trazabilidad de las decisiones de IA.
- Bloquea. La acción no sale. Vuelve al primer agente con el motivo concreto —qué comprobación falló y sobre qué dato— y se reintenta una vez. Si vuelve a fallar, sube. Un bloqueo silencioso que nadie cuenta es una fuga: el trabajo se para, el cliente espera y nadie se entera hasta que llama.
- Escala. Va a una persona con el caso ya montado: qué propuso el agente, qué comprobación falló, qué dice la política y qué se propone hacer. Escalar no es reenviar. Es llegar con el trabajo hecho para que decidir cueste un minuto y no veinte.
La métrica que importa de un supervisor no es cuántas acciones bloqueó: es cuántas escaló y cuánto tardaron en resolverse. Si escala el 40 %, no has puesto una segunda línea, has mudado el cuello de botella de sitio. Si escala el 0,5 %, o tu sistema es impecable o tu política es tan laxa que no comprueba nada. El rango sano se parece más al primer dígito que al segundo, y se afina mirando los escalados uno a uno durante las primeras semanas.
La política contra la que compara no aparece sola: es la misma que ya escribiste al definir las instrucciones de un agente de IA, con una condición innegociable —se escribe aparte y se versiona aparte—. Si el supervisor hereda el mismo documento, hereda también sus huecos, y un hueco heredado es un hueco que nunca se detecta.
Los tres casos en los que sigue haciendo falta una persona
Un supervisor automático no elimina al humano: le cambia la dieta. En vez de leer cuatrocientas cosas por encima, lee veinte a fondo. Y hay tres situaciones donde esas veinte no se negocian.
- El importe pasa de un umbral. No porque el agente vaya a equivocarse más con 40.000 € que con 400, sino porque el coste de equivocarse ya no lo absorbe el proceso: lo absorbe la cuenta de resultados. El umbral es una decisión de negocio, se escribe en euros y se revisa cada trimestre. Dónde se coloca esa persona sin convertirse en el freno de todo lo demás es el diseño del humano en el bucle de una automatización.
- La responsabilidad es legalmente indelegable. Aquí no queda margen de diseño, porque la norma nombra personas. El Reglamento europeo de IA, en su artículo 14, exige para los sistemas de identificación biométrica del punto 1(a) del anexo III que no se tome ninguna decisión sin que la identificación haya sido verificada y confirmada por separado por al menos dos personas físicas con la competencia, formación y autoridad necesarias. Fuente: Artículo 14 — Supervisión humana, Reglamento (UE) 2024/1689. En España, la AEPD recoge además el principio de cuatro ojos —doble verificación por personas distintas— para procesos automáticos con gran impacto en derechos y libertades, en sus Orientaciones sobre Inteligencia Artificial agéntica (versión 1.2, febrero de 2026). Dos personas físicas son dos personas físicas: ningún supervisor, por bueno que sea, cuenta como una.
- El caso no se parece a nada previsto. Es el más incómodo porque no se puede escribir por adelantado en una regla. Un supervisor solo sabe comprobar contra lo que la política contempló; frente a algo genuinamente nuevo, lo único correcto que puede hacer es reconocer que no lo cubre y pasarlo. Esa capacidad de decir «esto no me toca» es la misma que tiene que tener la primera línea, y está desarrollada en qué hace un agente de IA cuando no sabe. La diferencia es que el supervisor tiene que equivocarse siempre hacia arriba: ante la duda, escala.
Y donde hace falta la persona, hace falta la función, no el favor: alguien con criterio escrito, cola, tiempo de respuesta comprometido y medición de su propio acierto. Eso es la supervisión humana de IA a escala, y no compite con el supervisor automático —lo hace posible—. La máquina filtra el 95 % aburrido para que el criterio humano caiga entero sobre el 5 % que lo merece.
Qué se para, cuánto valía y qué evidencia queda
Aquí es donde la conversación se tuerce casi siempre, porque el supervisor se presenta como un asunto de seguridad y se muere en el comité de seguridad. Es un asunto de negocio. Dos cifras para dimensionarlo, las dos de Gartner y las dos de ámbito global —no son datos de España—: más del 40 % de los proyectos de IA agéntica se cancelarán antes de final de 2027 por costes crecientes, valor de negocio poco claro o controles de riesgo inadecuados (Gartner, 25 de junio de 2025); y las tecnologías de agentes guardianes supondrán al menos entre el 10 % y el 15 % del mercado de IA agéntica en 2030 (Gartner, 11 de junio de 2025).
Léelas juntas y verás la comedia: el sector está a la vez matando proyectos por falta de control y montando una categoría entera para venderte ese control como producto. Lo que ninguna de las dos cifras te dice es cuánto se para en tu casa. Ese número no lo tiene Gartner: lo tienes tú, en tu histórico, y es el único que sirve para decidir.
Por eso el cuadro de mando de un supervisor no es técnico. Son cinco números de negocio: cuántas acciones se pararon esta semana, de qué tipo eran, cuánto valían, cuántas resultaron ser falsas alarmas y cuánto tardó en resolverse cada escalado. Con esos cinco se puede tener la conversación de si soltar más autonomía o menos. Sin ellos solo se puede discutir por sensaciones, y en esa discusión siempre gana el que habla más alto.
Una advertencia sobre lo que esto no es: no es seguridad. Un supervisor comprueba contra una política de negocio; no defiende de alguien que intenta engañar al sistema a propósito. Ese es otro problema, con otras herramientas, otro equipo y otro presupuesto, y lo tratamos aparte en los riesgos de agentes de IA que no se ven en la demo. Confundir las dos cosas es la forma más cara de acabar sin ninguna.
Qué haría yo el lunes
Una pregunta y un experimento. La pregunta, con números y sin adornos: ¿cuántas salidas produce tu agente al día y cuántas lee de verdad, entera, una persona? Si al multiplicar la segunda cifra por dos minutos te sale más tiempo del que esa persona tiene libre, ya sabes que tu revisión es un sello y no hace falta que sigas leyendo.
El experimento cabe en dos semanas y no toca producción. Coge las últimas quinientas salidas de tu agente, tal como están guardadas. Pon un segundo agente —otro modelo, otro prompt, recuperando las fuentes por su cuenta— a comprobar solo tres cosas: que las cifras existan en la fuente, que la acción estuviera permitida y que no se saltara ningún paso obligatorio. Cuenta cuántas habría bloqueado y ve a mirarlas una a una. Si entre ellas hay dos o tres que no deberían haber salido, ya tienes el caso de negocio escrito, y no lo has escrito tú: lo ha escrito tu propio histórico.
La pregunta del título tiene una respuesta poco heroica. Al que revisa lo revisas tú, sí, pero una vez por semana y sobre una muestra. El resto del tiempo lo revisa una máquina distinta, con otra cabeza y otras fuentes, contra una política que escribiste el día que estabas tranquilo. No es elegante. Es lo único que aguanta cuando el volumen se multiplica por cuarenta y la plantilla no.