La tesi in una frase: il giorno in cui un agente farà qualcosa da spiegare, nessuno ti chiederà il suo tasso di successo. Ti chiederanno cosa è successo in quel caso preciso, e avrai esattamente quello che hai deciso di conservare sei mesi prima.
La scena si ripete. Un cliente reclama, un revisore chiede, un capo vuole sapere. Qualcuno apre il cruscotto dell'agente e mostra un 96 % di successo. E la risposta dall'altra parte è sempre la stessa: «benissimo, ma io ti sto chiedendo del caso di Marta, quello del 14 marzo». Il 96 % non risponde a quella domanda. Non ci risponde perché misura un'altra cosa.
Quello scarto ha un nome e non è un guasto tecnico: si è comprato uno strato credendo di comprarne tre.
Prestazioni e prove verificabili non sono la stessa domanda
Le prestazioni sono una domanda aggregata e al presente: il sistema va bene, quanto costa, dove si degrada? Si risponde con una curva e serve a operare. Le prove verificabili sono una domanda singola e al passato: perché questa decisione è uscita così, per questo cliente, in questo giorno? Si risponde con un fascicolo e serve a difendersi.
Sono domande diverse, con risposte diverse, e la trappola è che la prima si vede e la seconda no. Un cruscotto si mostra in demo; un fascicolo ricostruito compare solo quando qualcuno ne ha bisogno, che è sempre troppo tardi per montarlo.
I tre strati che il mercato vende come uno
Quando un fornitore dice «i nostri agenti sono verificabili», può parlare di tre cose che non si sostituiscono a vicenda. Separale prima di confrontare le offerte, perché quasi tutti ne coprono bene uno e gli altri due di sfuggita.
| Strato | Quando agisce | A quale domanda risponde | Cosa NON fa |
|---|---|---|---|
| Guardrail | Prima: preventivo | Può fare questo? | Non lascia traccia del perché di ciò che è avvenuto |
| Osservabilità | Durante: operativo, aggregato | Va bene oggi? | Non ricostruisce un caso preciso |
| Traccia di audit | Dopo: probatorio, singolo | Perché QUESTO caso è uscito così? | Non previene niente; prova soltanto |
Il primo strato è una decisione di progetto: cosa può toccare l'agente e fin dove arriva da solo. Si decide prima di collegare qualsiasi cosa — è sviluppato in quali permessi dare a un agente di IA e nei livelli di autonomia di un agente — e il suo valore è che certe cose non succedano. Ma un guardrail che funziona è invisibile: non produce prove, produce assenza di incidenti.
Il secondo è quello che quasi tutti comprano per primo, e a ragione: senza, un agente si rompe in silenzio. È monitorare l'IA in produzione, e risponde in aggregato. La sua unità è la metrica, non il caso.
Il terzo è quello che quasi nessuno ha montato, perché richiede decisioni scomode: cosa si conserva, con quale identificativo e per quanto tempo. È la tracciabilità delle decisioni di IA, ed è l'unico che ti serve il giorno del reclamo. Tutti e tre servono. Ma solo uno risponde alla domanda che ti faranno.
Perché il tuo log non vale come prova
Arriva l'obiezione ragionevole: «noi registriamo tutto». È quasi sempre vero, e quasi sempre inutile. Un registro operativo e una traccia probatoria si distinguono per due proprietà che non sono tecniche ma di governo.
- Integrità. Una traccia probatoria deve poter dimostrare che non è stata toccata da quando è stata scritta. Se chiunque abbia accesso al sistema può modificarla o cancellarla senza lasciare segno, non prova niente: è la versione dei fatti scritta da una delle parti.
- Una conservazione decisa. Un log ruota. Si cancella dopo trenta giorni perché occupa, o perché nessuno ci ha pensato. Una traccia ha un termine scelto apposta, scritto, allineato al tempo reale in cui i reclami emergono nel tuo settore — che raramente sono trenta giorni.
Ed ecco lo scontro da anticipare: conservare più a lungo spinge nella direzione opposta alla minimizzazione dei dati personali. Non si risolve con uno strumento, si risolve con una policy scritta per tipo di sistema: cosa si conserva intero, cosa pseudonimizzato, cosa solo come riferimento. Quella decisione è del business e del legale, non del fornitore. Se nessuno l'ha presa, la policy predefinita è quella di chi ha configurato la rotazione predefinita.
Cosa impone già la norma europea, e a chi
Conviene essere precisi, perché su questo si esagera in entrambe le direzioni. Il regolamento europeo sull'intelligenza artificiale non obbliga a registrare tutto quello che fa una qualsiasi IA. Lo impone per i sistemi classificati ad alto rischio, e lì l'obbligo passa da due punti.
L'articolo 12 impone che il sistema consenta tecnicamente la registrazione automatica degli eventi lungo il suo ciclo di vita, con capacità di logging utili a individuare situazioni di rischio e a sorvegliarne il funzionamento. Questo ricade su chi fabbrica.
La parte che quasi nessuno ha letto è l'articolo 26, paragrafo 6, e quella ricade su chi lo mette in uso: chi impiega un sistema ad alto rischio deve conservare i log generati automaticamente, nella misura in cui sono sotto il suo controllo, per un periodo adeguato alla finalità prevista e di almeno sei mesi, salvo che altra norma dell'Unione o nazionale disponga diversamente, in particolare in materia di protezione dei dati personali. Fonte: Article 26: Obligations of Deployers of High-Risk AI Systems, EU Artificial Intelligence Act, consultato l'11 settembre 2026.
Due precisazioni per non esagerare. La prima: la data di applicazione di questi obblighi si è spostata, e la stessa fonte colloca l'entrata in vigore dell'articolo 26 al 2 dicembre 2027 per i sistemi ad alto rischio dell'allegato III e al 2 agosto 2028 per quelli dell'allegato I, ai sensi dell'articolo 113. La seconda, più importante: se il tuo agente non è ad alto rischio, tutto questo non ti obbliga. Ma la formula «nella misura in cui sono sotto il suo controllo» dice già dove sta andando lo standard del settore, e un cliente grande o un assicuratore può chiedertelo molto prima di un regolatore.
Le tre cose da pretendere per iscritto prima di firmare
Non serve un allegato di venti pagine. Tre domande con risposta scritta ti dicono se hai prove o se hai un cruscotto.
- Quali campi vengono registrati, esattamente. Non «registriamo l'attività». L'elenco: identificativo di caso da capo a capo, versione del modello e delle istruzioni in vigore, cosa è stato recuperato, quali strumenti sono stati invocati, quale policy è stata applicata e chi ha rivisto. Se la risposta è un aggettivo invece di un elenco, la traccia non c'è.
- Dove vivono e per quanto tempo. In quale sistema, sotto il controllo di chi, con quale termine di conservazione e cosa succede alla scadenza. Un termine predefinito che nessuno ha scelto è una decisione presa per omissione, e la scoprirai il giorno in cui ti servirà.
- Chi può esportarli e in che formato. È la più dimenticata e la più cara: il giorno in cui cambi fornitore, ti porti via la traccia o resta sulla sua piattaforma? Se non è scritto, dai per scontato che resti.
Nessuna delle tre è una domanda tecnica difficile. Sono domande a cui un fornitore serio risponde in una mail, e quelle che in una mail non trovano risposta ti dicono più di quelle che la trovano.
Cosa fare questa settimana
Scegli un agente già al lavoro e fai la prova dei sei mesi su un caso reale. Non serve altro: in mezz'ora saprai in quale dei tre strati sei e quale ti manca. Se non riesci a ricostruire il caso, l'elenco qui sopra è la conversazione che hai in sospeso con chi te l'ha venduto.
E se ricostruendolo scopri che non sai nemmeno quale versione delle istruzioni girava quel giorno, quello è un problema precedente e si risolve prima: le istruzioni di un agente di IA non sono un prompt, sono un documento con proprietario, versione e data. Senza quella versione annotata, la traccia più completa del mondo ti lascia a metà.
Il riassunto onesto: le prestazioni ti dicono se il sistema vale la pena; le prove verificabili ti dicono se puoi sostenerlo davanti a qualcuno. La prima cosa si compra facile. La seconda si decide prima e non si monta a ritroso.