Scenario illustrativo. Un distributore lancia un agente che smista i problemi sugli ordini e propone la risposta al cliente. Il giorno del lancio c'è la torta. Alla terza settimana, tre persone hanno un'opinione su come va, e ciascuna guarda una cosa diversa: una conta i casi che chiude, un'altra quelli che tornano indietro, la terza ricorda solo quello andato male. Nessuno ha una data per decidere se l'agente resta, si aggiusta o si spegne.
La tesi in una riga: il lancio non è il traguardo, è l'inizio della finestra più economica per correggere un agente, e quella finestra si spreca senza un calendario. Ogni settimana dei primi trenta giorni deve rispondere a una domanda diversa, e alla fine qualcuno, con nome e cognome, deve firmare una decisione.
Cosa succede nelle prime settimane di un agente IA in produzione?
Nelle prime settimane di un agente IA in produzione succede ciò che la demo non poteva mostrare: arrivano i casi reali, con formati strani, eccezioni e clienti impazienti. È anche il momento in cui correggere costa meno. Il volume è ancora basso, le modifiche si rilasciano senza chiedere il permesso a mezza azienda e le persone ricordano ancora come si lavorava prima, quindi si accorgono in fretta quando l'agente devia.
Dopo, ogni correzione costa di più: più volume, più persone che dipendono dall'agente, più storico che non vuoi rompere. Per questo il primo mese merita regole proprie, non un «l'agente ormai è avviato». Quattro segnali si guardano sempre: le eccezioni (ciò che l'agente non sa risolvere), le correzioni umane (ciò che le persone sistemano dopo di lui), la deriva (quanto si allontana da ciò che è stato testato) e il costo reale per caso.
Settimana 1: fa quello che abbiamo approvato?
La prima settimana non si misura, si legge. Una persona rivede a mano ogni giorno un campione ampio di casi, possibilmente qualcuno che ha montato l'agente e qualcuno che conosceva il processo precedente. Bastano quindici minuti al giorno se il campione è scelto bene: i casi facili, quelli dubbi e tutti quelli che l'agente ha escalato.
La domanda della settimana: l'agente fa esattamente ciò che era stato concordato, e solo quello? Tre verifiche: non tocca nulla fuori dal suo perimetro (i permessi che gli hai dato, non quelli che potrebbe avere; i livelli di autonomia di un agente fanno da lista di controllo), ogni caso lascia abbastanza traccia per ricostruire cosa è successo, ed esiste una lista dei «casi che nessuno aveva previsto» con data e responsabile. Quella lista è il bene più prezioso della settimana: è il lavoro reale che la demo ha saltato.
Settimana 2: cosa correggono le persone dopo l'agente?
Nella seconda settimana si guarda ciò che gli umani sistemano. Ogni correzione è un'informazione gratuita su dove sbaglia l'agente, ma solo se si registra cosa è stato corretto e perché. La regola pratica è semplice: una correzione isolata è un errore; la stessa correzione tre volte è una regola che manca.
Si dividono le correzioni per tipo: dato estratto male, decisione sbagliata, tono o formato, e caso che andava escalato e non lo è stato. L'ultimo è il più caro, perché indica che l'agente non sa quando non sa; i criteri sono in cosa fa un agente quando non sa. E si calcola una metrica di prestazione con lo stesso metro che userai dopo, come spiega la guida per misurare le prestazioni delle tue automazioni: se cambi metrica a metà mese, non potrai confrontare nulla.
Settimana 3: le eccezioni si accumulano, il terreno si muove?
La terza settimana è quella delle eccezioni e della deriva. Le eccezioni sono il lavoro che l'agente restituisce alle persone; conta non quante sono, ma se qualcuno le gestisce, con quale ritardo e se la coda cresce o si stabilizza. Una coda che nessuno ha prioritizzato è il posto in cui muore il risparmio, come racconta la coda delle eccezioni, dove muore il risparmio.
La deriva si misura contro qualcosa di concreto: un insieme di casi con risposta corretta nota, lo stesso usato per approvare il lancio. Lo si ripassa ora e si verifica che l'agente risponda ancora allo stesso modo. Se è cambiato il fornitore del modello, un formato di input o uno strumento collegato, qui lo vedi prima del cliente. Che il comportamento peggiori nel tempo non è sfortuna, è la norma, e lo spieghiamo in perché il tuo pilota funzionava a gennaio e non a giugno.
Settimana 4: quanto costa davvero ogni caso e cosa decidiamo?
La quarta settimana si mette un prezzo. Il costo per caso non è la fattura del modello: somma le ore di chi rivede, di chi gestisce le eccezioni e di chi riaggiusta, più il tempo per preparare il report. Se l'unico costo che hai a schermo sono i token, stai guardando la parte economica. Per avere quei numeri in tempo reale senza costruire il cruscotto a mano c'è la funzione di monitoraggio dell'IA in produzione.
Con le quattro settimane davanti, si prende una decisione per iscritto. Non esiste una quarta opzione «vedremo»:
| Decisione | Quando scatta | Cosa implica |
|---|---|---|
| Dichiarare stabile | Le correzioni ripetute calano, la coda delle eccezioni non cresce e il costo per caso rientra in quanto concordato | Si passa alla revisione a campione e alla routine di manutenzione |
| Prolungare con modifiche | C'è una causa identificata e risolvibile, ma i numeri non reggono ancora il caso | Si fissa un termine e una modifica concreta, non «qualche giorno in più» |
| Fermare o ridurre l'autonomia | Le stesse correzioni compaiono ogni settimana o nessuno sa spiegare il costo | Si torna in modalità assistente o si spegne; un esito valido, non un fallimento |
Quando NON dichiarare stabile un agente a fine mese?
Ci sono quattro situazioni in cui firmare «stabile» è un errore anche se i numeri sembrano buoni. Una: il volume delle quattro settimane è stato così basso che non è comparso alcun caso strano; un mese tranquillo non dimostra nulla. Due: nel mese c'è stato un cambio di fornitore o di processo e l'insieme di casi non è stato ripassato dopo. Tre: la decisione l'ha presa chi ha montato l'agente, senza la firma di chi risponde del processo; ne parla criteri di accettazione di un agente IA: chi firma il via libera. E quattro: nessuno ha nome e turno per tenere d'occhio l'agente la settimana dopo.
Dichiarare stabile non significa smettere di guardare. Significa passare dalla revisione intensiva a una routine più leggera, con il calendario della manutenzione delle automazioni IA e l'agente già a inventario. Se il salto dal pilota all'operatività è proprio dove ti blocchi, la funzione dal pilota IA alla produzione copre quel tratto.
Cosa ti porti a casa
Questo calendario non cambia la tecnica, cambia l'abitudine: una domanda a settimana, una persona con nome e una decisione alla fine. Settimana uno, fa ciò che è stato approvato? Settimana due, cosa correggono le persone? Settimana tre, le eccezioni si accumulano o il terreno si muove? Settimana quattro, quanto costa e cosa decidiamo? Un agente che supera queste quattro domande si è guadagnato una vita noiosa, che è esattamente ciò che vuoi da lui.
Nota: questo articolo non usa cifre di terzi. Lo scenario è illustrativo, e termini e soglie di ogni decisione dipendono da processo, volume e rischio di ciascuna azienda; fissali prima del lancio, non dopo.