«Va bene» non è una misurazione (e nemmeno il risparmio della proposta)
C'è una conversazione che si ripete in tutte le aziende che hanno automatizzato qualcosa più di sei mesi fa. Qualcuno chiede se quella cosa stia portando valore. Cala un silenzio breve. E risponde chi l'ha montata: «funziona, non dà problemi». Quella è una risposta sullo stato del sistema, non sul suo rendimento. Un flusso può stare in piedi da sei mesi senza cadere e nel frattempo elaborare la metà dei casi di prima, con due persone che rivedono ogni output per sicurezza, e continuare a rispondere «va bene» all'unica domanda che gli viene fatta.
Il secondo jolly è peggio, perché ha l'aria di un numero: il «risparmio stimato» della proposta. Venti ore al mese, diceva la slide. Quel numero è stato calcolato moltiplicando un volume presunto per un tempo unitario presunto, prima di avere un solo dato reale, e senza sottrarre il lavoro nuovo che l'automazione avrebbe creato —rivedere eccezioni, sistemare l'integrazione del martedì, spiegare al sistema il caso strano—. È un'ipotesi d'acquisto, e il suo posto è nella decisione di investire, non nella valutazione di quanto investito. Una previsione non diventa una misurazione solo perché sono passati otto mesi.
La linea di partenza: l'unico numero che non puoi prendere dopo
Qui sta l'errore che rovina la misurazione della maggior parte delle automazioni, e si commette prima di scrivere la prima riga del flusso: nessuno ha annotato come andava il processo prima. Senza quel «prima», tutto ciò che misuri poi sono cifre assolute orfane. Elabori ottocento casi al mese: è un buon dato? Non si sa. Ci metti quattro ore a caso: meglio o peggio che a gennaio? Nessuno lo ricorda con precisione, e la memoria di una squadra arrotonda sempre a favore del nuovo, perché il nuovo l'ha montato qualcuno che è seduto in quella stanza.
La linea di partenza si prende con il processo ancora a mano, per due o tre settimane, e non richiede nessuna strumentazione: un foglio di calcolo e l'impegno di compilarlo. Cinque colonne:
- Volume. Quanti casi entrano a settimana. Con la stagionalità annotata, se c'è: agosto non vale come ottobre.
- Tempo da punta a punta. Da quando il caso arriva a quando è chiuso, non il tempo in cui qualcuno sta digitando. La differenza fra i due dati —il tempo che il caso passa in attesa nella casella di qualcuno— è di solito metà del totale ed è dove si guadagna davvero.
- Mani che lo toccano. Quante persone diverse intervengono. Ogni passaggio di mano è un punto dove il caso si ferma.
- Errori e rilavorazioni. Quanti casi vanno rifatti. È la metrica che quasi nessuno annota e quella che poi inganna di più: se automatizzi un processo che si rifaceva nel 15% dei casi e continua a rifarsi nel 15%, non hai migliorato la qualità, solo la velocità.
- Casi strani. Quanti escono dal percorso normale e perché. Questa colonna è quella che ti dirà, mesi dopo, se le eccezioni della tua automazione sono quelle di sempre o delle nuove che hai creato tu.
Se hai già rilasciato senza linea di partenza —cosa più che probabile, perché quasi nessuno la prende—, non inventarti il «prima». Ricostruirlo a memoria è peggio che non averlo, perché produce un numero con l'aspetto di un dato che nessuno tornerà a mettere in discussione. La cosa onesta è scrivere «nessuna linea di partenza» nel report, cominciare a misurare da oggi e usare il mese in corso come punto zero: fra un trimestre avrai il confronto. E se sei ancora in tempo, l'ordine giusto è il contrario di quello che segue tutto il mondo: prima si misura il processo, poi si decide quali processi automatizzare, e solo allora si monta.
Le quattro metriche che contano
Quattro bastano. Non è minimalismo estetico: un cruscotto da dodici indicatori non lo guarda nessuno, e quello che non si guarda non esiste. Queste quattro coprono le quattro domande diverse che si possono fare a un sistema in produzione —quanto fa da solo, quanto si inceppa, quanto libera davvero e quanto costa— e ognuna tappa un buco che le altre tre lasciano aperto.
| Metrica | A cosa risponde | Ogni quanto si guarda |
|---|---|---|
| Percentuale che passa da sola | Su cento casi che entrano, quanti escono chiusi senza che nessuno ci metta mano. È l'unica che misura quanta parte del processo è davvero automatizzata. | Settimanale |
| Eccezioni a settimana | Quanti casi escono dal flusso e, soprattutto, di che tipo. Distingue il sistema che impara da quello che si limita a reggere. | Settimanale |
| Tempo davvero risparmiato vs. promesso | Ore che non si fanno più meno ore nuove di revisione e manutenzione, contro quello che diceva la proposta. È l'unico punto in cui la promessa si confronta con il dato. | Mensile |
| Costo per caso | Tutto quello che costa il sistema —licenze, token, manutenzione, tempo umano rimasto— diviso i casi elaborati. | Mensile |
L'ordine conta: le prime due sono operative e si leggono nella riunione settimanale; le ultime due sono di business e si portano in comitato. Mescolarle produce l'effetto di sempre —il comitato che discute di singole eccezioni e il team tecnico che litiga con una cifra di costo che non può muovere—.
Come si conta il «passa da solo» senza prendersi in giro
La metrica dei casi che vanno da punta a punta senza intervento non l'abbiamo inventata noi: arriva dal mondo finanziario, dove si misura da decenni lo straight-through processing —l'operazione che si regola senza intervento manuale— e dove non è un indicatore di vanità, ma qualcosa che si fattura: le banche applicano commissioni sui pagamenti che non passano da soli o ribaltano il costo della riparazione manuale su chi manda istruzioni di scarsa qualità. L'eccezione ha un prezzo, ed è per questo che là nessuno la nasconde.
La trappola di questa metrica è il numeratore, e ci cascano quasi tutti: conta come «passa da solo» soltanto il caso che si completa per intero senza nessun intervento umano. Un processo con l'ingresso automatizzato e l'approvazione a mano non passa da solo: passa a metà. Se il flusso estrae i dati dalla fattura ma qualcuno deve cliccare su convalida, quello è un caso assistito, non automatico. E se misuri la percentuale contando la parte automatizzata del percorso invece dei casi chiusi, ottieni un bellissimo 90% che non corrisponde alla sensazione di nessuno che lavori lì dentro —e quella dissonanza fra la metrica e quello che vede la squadra è ciò che uccide la credibilità di tutta la misurazione—.
Le eccezioni: la metrica che dice se il sistema migliora o si limita a reggere
Se potessi guardare un solo numero a settimana, guarda questo. La percentuale che passa da sola ti dice dove sei; le eccezioni ti dicono dove stai andando. E il trucco sta nel non fermarsi al totale: venti eccezioni questa settimana e venti la settimana scorsa possono essere due situazioni opposte a seconda del tipo.
Classificale in tre secchi, che sono anche i tre motivi per cui un caso esce dal percorso automatico —manca informazione, l'informazione arriva in un formato che la macchina non capisce, oppure il caso cade fuori dalle regole che si era deciso di automatizzare—:
- Dato incompleto o sporco. Il caso arriva senza quello che serve. Questo quasi mai si risolve dentro l'automazione: si risolve a monte, nel modulo, nel template o nel fornitore che manda male il file. Se cresce, hai un problema di ingresso travestito da problema di IA.
- Caso legittimo fuori dalle regole. Il sistema fa bene a non toccarlo: è un reso fuori termine, un importo sopra il limite, un cliente con condizioni particolari. Queste eccezioni non dovrebbero scendere a zero. Sono il progetto che funziona.
- Guasto del sistema. L'integrazione è caduta, il modello ha restituito qualcosa che non vale, il flusso si è fermato a metà. Queste sono le uniche che contano come debito: ognuna dovrebbe avere nome, causa e rimedio, e la stessa non dovrebbe presentarsi due volte. Individuarle in tempo è un altro discorso e ha una sua meccanica in rilevare i guasti nelle automazioni con IA.
La lettura è diretta. Se il secchio tre scende e il due resta stabile, il sistema sta maturando: hai chiuso guasti uno dopo l'altro e quello che resta è il confine che avevi deciso di non superare. Se il secchio tre resta piatto mese dopo mese, il sistema non sta migliorando —sta reggendo, e qualcuno sta pagando quella tenuta in ore—. E se il secchio uno cresce, il problema non è nella tua automazione: è in chi ti manda i dati.
Qui compare la spesa che non viene mai messa a budget: il tempo di gestire le eccezioni. È lavoro nuovo, creato dall'automazione, che fa qualcuno che prima non lo faceva. Se non lo conti, il tuo risparmio è finzione; e se lo conti, molte volte scopri che metà del risparmio promesso se la mangia la coda dei casi strani. Contarlo è ciò che trasforma una misurazione in una misurazione.
Affinare, rifare o ritirare: il criterio per decidere
Misurare senza un criterio di decisione stabilito prima è collezionare cifre. Il criterio va scritto prima di guardare i numeri —altrimenti il numero si interpreta a favore di quello che era già stato deciso— e ha solo tre uscite.
| Cosa vedi | Cosa significa | Cosa fai |
|---|---|---|
| La percentuale che passa da sola è ragionevole e le eccezioni sono quasi tutte del secchio 2 (fuori dalle regole). | Il sistema sta facendo il suo lavoro e il confine è messo bene. | Affinare. Allargare le regole caso per caso solo se il volume di quel tipo giustifica il lavoro. Modifiche piccole e testate. |
| Il secchio 3 (guasti) non scende in tre mesi e sempre dallo stesso punto. | Non è un bug: è un problema di progettazione del flusso. Continuare a mettere pezze durerà un altro trimestre. | Rifare quella parte. Una riprogettazione circoscritta costa meno di dodici pezze, e si fa con la rete: vedi testare le modifiche senza rompere l'automazione. |
| Il volume del processo è calato, o la manutenzione costa più ore di quante ne faccia risparmiare, o le eccezioni superano i casi automatici per diverse settimane di fila. | Quello che hai è un processo manuale con un passaggio automatico che intralcia e continua a consumare licenze, avvisi e attenzione. | Ritirare. Spegnerlo e documentare il perché. È l'uscita che si usa meno e quella che recupera più soldi. |
La terza riga è quella scomoda. Spegnere un'automazione si vive come ammettere che non valeva niente, così il flusso resta acceso «per ogni evenienza» e va a ingrossare il censimento delle automazioni zombie: quelle che girano, costano e non servono più a nessuno. Ritirare in tempo non è un fallimento del progetto —è l'unica prova che la misurazione serve a qualcosa, perché una misurazione che può solo confermare decisioni già prese non è una misurazione, è una cerimonia—.
Come montare la misurazione questa settimana
Niente di quanto sopra richiede uno strumento nuovo. In un pomeriggio, e in questo ordine: definisci cosa conta come «caso chiuso senza intervento» e scrivilo, perché quella definizione è l'80% dell'affidabilità di tutto il resto; tira fuori dallo storico delle esecuzioni i casi delle ultime quattro settimane e classificali in passato da solo / eccezione, con l'eccezione etichettata nei tre secchi; annota per un mese il tempo che la squadra dedica a eccezioni e manutenzione, anche a occhio, perché è il lato che non ha nessuno; e costruisci il costo per caso con la fattura vera, non con quella stimata. Quattro numeri, un foglio, quindici minuti ogni lunedì.
E un avvertimento sul ritmo: la misurazione settimanale serve a operare, non a giudicare. Una settimana storta non significa niente —è entrato un lotto strano, c'è stato un fermo, è andato in ferie chi risolveva—. La decisione di affinare, rifare o ritirare si prende con tre mesi di dati davanti, mai con un grafico di sette giorni. Quella disciplina di guardare spesso e decidere piano è, di fatto, metà della manutenzione di un'automazione: l'altra metà è fare qualcosa con quello che la misurazione ti dice.
Il confine onesto: questo è scritto per chi ha qualche flusso e un foglio di calcolo. Quando sotto ci sono agenti che decidono in diretta, con un costo per token che schizza senza avvisare e una qualità che si degrada in silenzio, la misurazione smette di essere un foglio settimanale e diventa strumentazione con tracce e allarmi: quello è monitorare l'IA in produzione. E se quello che vuoi è che la linea di partenza, le quattro metriche e la revisione trimestrale restino montate sui tuoi flussi attuali e le porti avanti qualcuno che non sei tu, quella è l'automazione delle operazioni: il numero, ogni mese, senza che tu debba ricordarti di chiederlo.