« Funziona benissimo. » È la frase più detta su un sistema di IA e la meno difendibile. Qualcuno l'ha provato un momento, gli ha fatto cinque domande, sono uscite bene, e da lì a « funziona » c'è un salto di fede che in produzione si paga caro. Come valutare un sistema di IA in azienda non è quell'impressione: è misurare, contro una base, se azzecca —e quanto sbaglia quando lo fa.
La tesi in una frase: senza un set di valutazione —quello che nel mestiere si chiama evals— non sai se la tua IA funziona, sembra solo che lo faccia. « Sembra che vada bene » non è una metrica; è un aneddoto con fortuna. Ciò che separa un sistema che puoi mettere davanti a un cliente da un esperimento che prega di non fallire è, quasi sempre, se ci sono evals o no.
Come valutare un sistema di IA in azienda: perché « sembra che vada bene » non è una metrica
Valutare un sistema di IA in azienda è confrontare ciò che risponde con ciò che dovrebbe rispondere, su un insieme di casi rappresentativi, e tirarne fuori un numero. In concreto: raccogli un set di input reali —le domande, i documenti o i compiti che gli arrivano davvero—, definisci la risposta corretta o il criterio di successo per ognuno, ed esegui quel set ogni volta che cambi qualcosa —il prompt, il modello, i dati. Il risultato è un punteggio che si muove: sale quando migliori, scende quando rompi qualcosa senza accorgertene. Senza quel numero, ogni cambiamento è alla cieca e ogni « funziona » è un'opinione.
Cos'è un eval (e in cosa si differenzia dal « provarlo un momento »)
Provare un sistema a mano è utile il primo giorno e ingannevole il secondo. Un eval è l'opposto di quella prova informale su tre cose:
- È rappresentativo, non aneddotico. Non sono le cinque domande che ti vengono in mente; sono decine o centinaia di casi reali, inclusi quelli strani e quelli che hanno già fallito una volta.
- È ripetibile, non una tantum. Si esegue uguale a ogni cambiamento, così confronta mele con mele: sai se la versione di oggi è migliore o peggiore di quella di ieri, non se « ti ha dato una buona sensazione ».
- Dà un numero, non un'impressione. Un tasso di successo, un tasso di errore, uno di allucinazione. Qualcosa che puoi mettere su un grafico e sorvegliare ogni settimana.
La differenza tra un sistema serio e una bella demo è, quasi sempre, se quel numero esiste. Il come tecnico di montarlo —il set, i criteri, il ciclo— lo scomponiamo nella guida su come addestrare un agente IA: dati, evals e governance; qui ciò che conta è perché senza di esso sei alla cieca.
Cosa misurare: le quattro cose che separano la produzione dalla fede
Non serve misurare tutto dal primo minuto. Con quattro metriche sai più del tuo sistema della maggior parte dei progetti in marcia da mesi:
- Tasso di successo. Dei casi del set, in quanti risponde bene secondo il tuo criterio. È la metrica madre; se non ce l'hai, non hai niente.
- Tasso di errore e di allucinazione. Quanto azzecca non basta: conta quanto sbaglia con aplomb. Un sistema che azzecca il 90% ma inventa il restante 10% con totale sicurezza può essere peggio di uno più umile.
- Copertura dei casi limite. Che percentuale dei casi strani —quelli che rompono i sistemi deboli— passa per l'eval. Ciò che non è nel set non si misura, e ciò che non si misura si degrada in silenzio.
- Deriva nel tempo. Lo stesso eval, eseguito ogni settimana. Un sistema di IA non resta fermo: cambia l'input, si degradano i prompt, il fornitore aggiorna il modello. La deriva si vede sul grafico prima di vedersi nel reclamo del cliente.
L'errore di non avere evals dal primo giorno
Il fallimento più caro non è avere evals cattivi: è non averne nessuno. Un sistema senza misurazione non fallisce il giorno del lancio —fallisce piano, e nessuno se ne accorge finché l'errore non arriva al cliente. Senza un numero base non puoi dimostrare che migliora, non puoi difendere la spesa davanti alla direzione, e non puoi distinguere un cambiamento che aiuta da uno che rompe. È, di fatto, una delle cause con nome per cui falliscono i progetti di automazione con l'IA: zero misurazione, zero modo di sapere se il progetto è ancora vivo o uno zombie che nessuno osa spegnere.
Gli evals non sono un progetto, sono un'abitudine
La trappola è trattare gli evals come una fase (« li montiamo alla fine »). Alla fine è tardi: il sistema è già in produzione a prendere decisioni che non puoi auditare. L'economico e il sensato è il contrario —partire con un set piccolo il primo giorno e farlo crescere con ogni caso strano che appare. Non è un deliverable che si firma e si dimentica; è la routine che tiene il sistema onesto. Montata come funzione continua —misurare, sorvegliare e correggere in produzione— è valutare la qualità dei tuoi agenti IA.
Misurare bene non è glamour, ma è l'unica cosa che trasforma « crediamo che funzioni » in « sappiamo che funziona ». Se metterai l'IA a lavorare nella tua azienda e vuoi che regga, questo è fondamento, non ornamento —ed è esattamente ciò che montiamo nell'infrastruttura di IA aziendale: il sistema, i suoi evals e il ciclo che lo tiene misurato nel tempo. Non ti lasciamo un'IA che sembra funzionare; ti lasciamo un'IA di cui puoi dimostrare che funziona —o di cui sai esattamente dove fallisce.