Nella demo il numero brilla: «95% di precisione». Applausi, teste che annuiscono, qualcuno nota che è «quasi perfetto». E lo sembra —finché il sistema entra in produzione e quel 95% si traduce in ciò che significa davvero: una risposta sbagliata ogni venti. A cento casi al giorno, sono cinque errori quotidiani. A mille, cinquanta. E a differenza della demo, dove mostri i successi, in produzione gli errori non si nascondono: cadono davanti a un cliente, in una mail inviata, in un dato che qualcuno ha creduto.
La tesi in una frase: la precisione dell'IA in produzione non è un numero da inseguire verso il 100, è una soglia che dipende dal costo dell'errore. Il 95% può avanzare in un compito ed essere un disastro in un altro, e il numero da solo —fuori contesto— non ti dice quale dei due è il tuo. Ciò che decide se il tuo sistema è pronto non è quanto azzecca, ma cosa succede quando sbaglia e chi lo vede.
Cosa significa davvero la precisione dell'IA in produzione
Il 95% di precisione suona da massimo dei voti perché lo leggiamo come voto d'esame. Ma in produzione non è un voto, è un tasso di errore distribuito sul volume. Il 5% che resta non evapora: si accumula caso per caso, giorno per giorno, e cresce col traffico. Il sistema che nel test falliva «quasi mai» inizia a fallire ogni giorno appena elabora sul serio, semplicemente perché ci sono più casi in cui sbagliare.
C'è una seconda trappola nella parola «precisione» stessa: è una media, e le medie nascondono. Un 95% globale può voler dire che azzecchi il 99% dei casi facili e il 60% di quelli difficili —proprio quelli che contano. In demo si mostrano i casi facili; in produzione arrivano i rari, gli ambigui, gli imprevisti. Un numero medio senza vedere dove cadono gli errori è marketing, non una misura della tenuta del sistema.
La soglia non è un numero, è il costo dell'errore
La domanda utile non è «quanta precisione ha?», è «quanto costa ogni errore e chi lo subisce?». Lo stesso 95% è eccellente o inaccettabile a seconda di cosa succede quando fallisce. Ecco la mappa breve:
| Cosa fa il sistema | Costo di un errore | Basta un 95%? |
|---|---|---|
| Suggerire una bozza che un umano rivede prima di inviare | Basso: corretto prima che esca | Sì, e avanza |
| Classificare e instradare (ticket, documenti, lead) | Medio: re-instradato o rivisto | Di solito sì |
| Rispondere a un cliente senza revisione umana | Alto: danno reputazionale o legale | No |
| Decidere su denaro, salute o compliance | Critico: irreversibile o sanzionabile | Nemmeno lontanamente |
Nota che la tecnologia è la stessa nelle quattro righe; ciò che cambia è la rete sotto. Quando l'errore è a buon mercato e qualcuno lo prende prima che esca, il 95% è un'ottima notizia. Quando l'errore è caro ed esce diretto, senza revisione, lo stesso 95% è una bomba a orologeria col conto alla rovescia fissato dal volume. La soglia, quindi, non si eredita dal benchmark del fornitore: si decide compito per compito, guardando cosa succede il giorno in cui sbaglia.
Il 5% non sparisce: si gestisce
Il 100% non esiste, e inseguirlo è il modo più caro per non finire mai. Il lavoro serio non è spremere due decimali in più di precisione; è progettare cosa succede al 5% che fallirà sempre. Un sistema in produzione non si giudica da quanto va bene quando azzecca, ma da come si comporta quando sbaglia. Si costruisce con quattro pezzi:
- Rilevare l'incertezza. Un buon sistema sa quando non è sicuro e lo dice, invece di rispondere con la stessa sicurezza a ciò che padroneggia e a ciò che ignora. Quel segnale innesca tutto il resto.
- Contenere con revisione umana dove l'errore è caro. Non ovunque —uccide il risparmio— ma proprio sui casi ad alto costo. È l'umano nel loop messo dove serve davvero: filtrare il 5% pericoloso, lasciar passare il 95% sicuro.
- Misurare con casi reali, non i facili. Un sistema di valutazione che fa girare i tuoi casi difficili —non un campione gentile— è l'unica cosa che ti dice se il 95% è reale o da vetrina.
- Delimitarlo: che dica «non lo so». Un sistema che ammette di non poter rispondere vale più di uno che inventa con sicurezza. L'errore silenzioso —quello che sembra corretto e non lo è— è il più caro di tutti.
Questa, tra l'altro, è la differenza tra un progetto che arriva in produzione e uno che resta un pilota eterno. I piloti muoiono quando qualcuno scopre che il 5% non era gestito e nessuno osa rilasciarlo senza rete. È una delle ragioni di fondo di perché falliscono i progetti di automazione con IA: non per mancanza di precisione, ma per mancanza di un piano per l'errore.
Perché il numero del fornitore mente un po'
Quando un fornitore ti mostra «95%», quasi mai è sui tuoi dati: è sul suo benchmark, scelto da lui, con una distribuzione di casi che non deve per forza somigliare alla tua. Il tuo 95% reale può diventare un 88% appena gli dai i tuoi casi rari, il tuo gergo, le tue eccezioni. Non necessariamente malafede; è che la precisione non è una proprietà del modello, è una proprietà della coppia modello + i tuoi dati. Misurarla bene significa far girare valutazioni sui tuoi casi prima di fidarti del numero, non dopo la prima lamentela.
E una sfumatura che risparmia discussioni: chiedi sempre di separare la precisione sui casi facili da quella sui difficili. Se il fornitore ha solo la media globale, non ha guardato dove fa male. Se ce l'ha scomposta e te la mostra, stai trattando con qualcuno che sa cosa vende.
Allora, quando basta un 95%?
La risposta onesta in due frasi. Basta quando l'errore è a buon mercato e c'è una rete: un umano che rivede il costoso, un nuovo tentativo, un «non lo so» che evita di inventare. Non basta quando l'errore è caro e va dritto al cliente senza nessuno che lo filtri. Il numero, da solo, non ti dice in quale dei due mondi sei; te lo dice il design attorno al 5%. Perciò, quando qualcuno ti vende una percentuale come argomento finale, la domanda giusta non è «sicuro che sia 95?», è «e l'altro 5?».