La tesi in una frase: oltre un certo volume, rileggere tutto a mano smette di essere revisione e diventa un timbro. Se vuoi continuare a guardare cosa fa il tuo agente, la seconda linea deve essere automatica — e deve essere un altro agente, non lo stesso a cui fai un’altra domanda.
Il tuo processo di revisione è stato pensato quando l’agente faceva dodici cose al giorno. Una persona le leggeva tutte, ne correggeva due e imparava qualcosa per strada. Funzionava. Otto mesi dopo l’agente ne fa quattrocento e la persona è sempre la stessa, con la stessa agenda e le stesse riunioni. Nessuno ha cambiato la procedura: si continua a segnare tutto come «rivisto». Quello che è cambiato è il significato di quella parola.
Qui non c’è malafede, c’è aritmetica. Quattrocento output per due minuti di lettura onesta fanno più di tredici ore. Nessuno ha tredici ore, quindi succede quello che succede sempre: si legge la prima riga, si controlla che il formato regga, si approva. Il controllo esiste ancora nell’organigramma e ha smesso di esistere nella realtà.
Cos’è un agente supervisore IA e cosa controlla esattamente
Un agente supervisore IA è un secondo agente il cui unico lavoro è guardare quello che ha prodotto il primo prima che l’azione parta, confrontarlo con una policy scritta ed emettere un verdetto: passa, si blocca, oppure sale a una persona. Non genera. Non riscrive. Non ha opinioni su come potrebbe suonare meglio. Decide una sola cosa: se questo può uscire.
Quello che controlla è deliberatamente noioso, ed è esattamente per questo che funziona. Quattro domande chiuse, con risposta verificabile:
- Che quello che afferma esista. Ogni cifra, nome, data o riferimento dell’output deve poter essere indicato in una fonte davvero consultata. Se compare un numero che non sta in nessun documento recuperato, non è un numero: è un’invenzione con la forma di un numero.
- Che l’azione stia dentro il permesso. Quale strumento ha chiamato, su quale record, per quale importo, per conto di chi. La policy dice cosa può toccare; il supervisore verifica che quello che sta per toccare sia su quella lista e non su un’altra.
- Che il caso somigli a ciò che la policy aveva previsto. Lingua, tipo di cliente, giurisdizione, dimensione dell’operazione. Un caso fuori dal previsto non è per forza sbagliato: è scoperto, che è un’altra cosa e si tratta diversamente.
- Che nessun passaggio obbligatorio sia saltato. Se la procedura dice che prima di rispondere a un reclamo si guarda lo storico, il supervisore controlla se l’ha guardato. È la verifica più stupida delle quattro ed è quella che scatta più spesso.
Guarda cosa NON c’è in quella lista: «che la risposta sia buona». La qualità media di un sistema si misura con valutazioni su casi salvati, prima di andare in produzione, ed è un’altra disciplina che sviluppiamo in le valutazioni senza cui non sai se la tua IA funziona. Un supervisore non misura medie. Guarda questo caso, adesso, e decide se esce.
Perché non basta che l’agente si riveda da solo?
Perché il bias è misurato e ha un nome. In Self-Preference Bias in LLM-as-a-Judge (Wataoka, Takahashi e Ri) gli autori propongono una metrica per quantificarlo e trovano che GPT-4 valuta in modo significativamente più generoso gli output generati da sé; la loro ipotesi è che i modelli favoriscano ciò che risulta loro familiare, misurato come perplessità più bassa. Fonte: Self-Preference Bias in LLM-as-a-Judge, arXiv, 29 ottobre 2024 (revisionato a giugno 2025). È un risultato tecnico, non un dato di mercato: vale a Milano come a Madrid.
Tradotto nel tuo processo: chiedere a un agente di auditarsi è chiedergli di dubitare della frase che due secondi fa gli sembrava la cosa più naturale del mondo. Lo farà, in una certa percentuale di casi, con molta sicurezza e pochissima utilità.
Il problema del modello condiviso è il più citato, ma non è il peggiore. Il peggiore è il contesto condiviso. Se l’errore nasce da un documento recuperato male, un revisore che legge esattamente quello stesso documento recuperato male confermerà l’errore con entusiasmo e lo marcherà come verificato. L’indipendenza qui non è un principio morale: è la condizione matematica perché il secondo sguardo porti informazione che il primo non aveva.
In parallelo, o tra l’agente e il sistema di destinazione?
È la decisione di architettura di cui si discute di più e che si argomenta peggio, perché viene posta come questione tecnica quando è una questione su quale errore ti puoi permettere. Ci sono solo due posizioni.
| In parallelo (osservatore) | In mezzo (portiere) | |
|---|---|---|
| Cosa succede se sbaglia | L’azione è già uscita; lo scopri dopo | L’azione non esce; il processo si ferma |
| Latenza aggiunta | Nessuna: gira dopo | Una verifica in più su ogni operazione |
| Quale errore evita | Nessuno; li documenta e ti lascia correggere | Quelli irreversibili, che sono quelli che contano |
| Costo di un falso positivo | Basso: un alert di troppo | Alto: hai bloccato lavoro buono |
| Dove ha senso | Azioni reversibili, volume alto, fase di rodaggio | Soldi, terzi, dati regolamentati |
La nostra regola è corta: il supervisore sta in mezzo solo dove l’azione è irreversibile o esce dall’azienda. In tutto il resto sta di fianco. E si parte in parallelo anche se pensi di finire in mezzo, perché nelle prime due settimane il suo lavoro non è bloccare: è mostrarti quante volte avrebbe bloccato e con quali motivi. Metterlo portiere il primo giorno è installare un freno con un tasso di falsi positivi sconosciuto.
Non è una decisione di tecnologia, è una decisione di autonomia, ed è attaccata a quella che hai già preso fissando i livelli di autonomia di un agente: più libera corre la prima linea, più è giustificato mettere la seconda sul suo cammino.
Passare, bloccare o scalare: non c’è una quarta uscita
Un supervisore con più di tre verdetti è un supervisore che ha opinioni. I tre, e cosa obbliga a costruire ciascuno:
- Passa. L’azione esce e resta registrato che è passata dal supervisore, contro quale versione di policy e con quale esito. Un «passa» senza traccia non serve a niente: tra sei mesi, la distanza tra «è stato rivisto» e «si può dimostrare che è stato rivisto» è tutta la distanza. Quel registro è esattamente la tracciabilità delle decisioni di IA.
- Blocca. L’azione non esce. Torna al primo agente con il motivo preciso — quale verifica è fallita e su quale dato — e si ritenta una volta. Se fallisce di nuovo, sale. Un blocco silenzioso che nessuno conta è una perdita: il lavoro si ferma, il cliente aspetta e nessuno lo sa finché non chiama.
- Scala. Va a una persona con il caso già montato: cosa proponeva l’agente, quale verifica è fallita, cosa dice la policy e cosa si propone di fare. Scalare non è inoltrare. È arrivare con il lavoro fatto perché decidere costi un minuto e non venti.
La metrica che conta di un supervisore non è quante azioni ha bloccato: è quante ne ha scalate e quanto ci hanno messo a chiudersi. Se scala il 40 %, non hai messo una seconda linea, hai spostato il collo di bottiglia. Se scala lo 0,5 %, o il tuo sistema è impeccabile o la tua policy è così larga da non controllare nulla. L’intervallo sano somiglia molto più alla prima cifra che alla seconda, e si tara leggendo le escalation una a una nelle prime settimane.
La policy contro cui confronta non cade dal cielo: è quella che hai già scritto definendo le istruzioni di un agente IA, con una condizione non negoziabile — scritta a parte, versionata a parte. Se il supervisore eredita lo stesso documento, eredita anche i suoi punti ciechi, e un punto cieco ereditato non si scopre mai.
I tre casi in cui serve ancora una persona
Un supervisore automatico non elimina l’umano: gli cambia la dieta. Invece di scorrere quattrocento cose, ne legge venti per davvero. E ci sono tre situazioni in cui quelle venti non si negoziano.
- L’importo supera una soglia. Non perché l’agente sbagli di più a 40.000 € che a 400, ma perché il costo dell’errore non lo assorbe più il processo: lo assorbe il conto economico. La soglia è una decisione di business, si scrive in euro e si rivede ogni trimestre. Dove sta quella persona senza diventare il freno di tutto il resto è il disegno dell’umano nel ciclo di un’automazione.
- La responsabilità è giuridicamente non delegabile. Qui non c’è margine di design, perché la norma nomina persone. Il regolamento europeo sull’IA, all’articolo 14, richiede per i sistemi di identificazione biometrica del punto 1(a) dell’allegato III che nessuna decisione sia presa senza che l’identificazione sia stata verificata e confermata separatamente da almeno due persone fisiche con la competenza, la formazione e l’autorità necessarie. Fonte: Articolo 14 — Sorveglianza umana, regolamento (UE) 2024/1689. In Spagna, l’AEPD aggiunge il principio dei quattro occhi — doppia verifica da parte di due persone diverse — per i processi automatici ad alto impatto sui diritti, nelle sue orientazioni sull’IA agentica (versione 1.2, febbraio 2026). Due persone fisiche sono due persone fisiche: nessun supervisore, per quanto bravo, ne vale una.
- Il caso non somiglia a niente di previsto. È il più scomodo, perché non si può scrivere in anticipo in una regola. Un supervisore sa verificare solo contro ciò che la policy ha contemplato; davanti a qualcosa di davvero nuovo, l’unica cosa corretta è ammettere che non è coperto e passarlo avanti. Quella capacità di dire «questo non tocca a me» è la stessa che deve avere la prima linea, ed è sviluppata in cosa fa un agente IA quando non sa. La differenza è che un supervisore deve sbagliare verso l’alto: nel dubbio, scala.
E dove serve la persona, serve la funzione, non il favore: qualcuno con criterio scritto, una coda, un tempo di risposta impegnato e una misura della propria accuratezza. È la supervisione umana dell’IA su scala, e non compete con il supervisore automatico — lo rende utilizzabile. La macchina filtra il 95 % noioso perché il giudizio umano cada intero sul 5 % che se lo merita.
Cosa si è fermato, quanto valeva, quale prova resta
Qui la conversazione va quasi sempre storta, perché il supervisore viene presentato come tema di sicurezza e muore nel comitato sicurezza. È un tema di business. Due numeri per dimensionarlo, entrambi di Gartner ed entrambi di ambito globale — non sono dati italiani: più del 40 % dei progetti di IA agentica sarà cancellato entro fine 2027 per costi crescenti, valore di business poco chiaro o controlli del rischio inadeguati (Gartner, 25 giugno 2025); e le tecnologie di agenti guardiani rappresenteranno almeno il 10-15 % del mercato dell’IA agentica nel 2030 (Gartner, 11 giugno 2025).
Leggili insieme e la commedia viene fuori: il settore sta ammazzando progetti per mancanza di controllo e allo stesso tempo sta costruendo un’intera categoria per venderti quel controllo come prodotto. Quello che nessuno dei due numeri ti dice è quanto si ferma a casa tua. Quel numero Gartner non ce l’ha. Ce l’hai tu, nel tuo storico, ed è l’unico su cui si decide.
Per questo il cruscotto di un supervisore non è tecnico. Sono cinque numeri di business: quante azioni si sono fermate questa settimana, di che tipo, quanto valevano, quante si sono rivelate falsi allarmi e quanto ci ha messo a chiudersi ogni escalation. Con quei cinque si può fare la conversazione vera su più autonomia o meno. Senza, si può solo discutere a sensazione, e in quella discussione vince sempre chi parla più forte.
Un avvertimento su cosa questo non è: non è sicurezza. Un supervisore verifica contro una policy di business; non ti difende da qualcuno che cerca deliberatamente di ingannare il sistema. Quello è un altro problema, con altri strumenti, un altro team e un altro budget, e lo trattiamo a parte in i rischi degli agenti IA che non si vedono nella demo. Confonderli è il modo più caro di restare senza nessuna delle due.
Cosa farei lunedì
Una domanda e un esperimento. La domanda, con numeri e senza decorazioni: quanti output produce il tuo agente al giorno, e quanti ne legge davvero, per intero, una persona? Se moltiplicando quella seconda cifra per due minuti superi il tempo libero che quella persona ha, sai già che la tua revisione è un timbro e puoi smettere di leggere qui.
L’esperimento sta in due settimane e non tocca mai la produzione. Prendi gli ultimi cinquecento output del tuo agente, così come sono salvati. Metti un secondo agente — altro modello, altro prompt, che recupera le fonti da solo — a verificare solo tre cose: che le cifre esistano nella fonte, che l’azione fosse permessa e che nessun passaggio obbligatorio sia saltato. Conta quanti ne avrebbe bloccati e vai a leggerli uno a uno. Se tra quelli ce ne sono due o tre che non sarebbero mai dovuti uscire, il tuo business case è già scritto, e non l’hai scritto tu: l’ha scritto il tuo storico.
La domanda del titolo ha una risposta poco eroica. Il controllore lo controlli tu, sì — una volta a settimana e su un campione. Il resto del tempo lo controlla una macchina diversa, con un’altra testa e altre fonti, contro una policy che hai scritto il giorno in cui eri tranquillo. Non è elegante. È l’unica cosa che regge quando il volume si moltiplica per quaranta e l’organico no.