I 4 livelli di "addestramento": prompt, RAG, fine-tune, agent training
| Livello | Cos'è | Quando |
|---|---|---|
| Prompt engineering | Scrivere buone istruzioni (system prompt) | Sempre — base di tutto |
| RAG | Connettere il modello alla tua knowledge base | Quando l'agente deve usare info specifiche tue |
| Fine-tuning | Aggiustare il modello con i tuoi esempi | Raramente — solo casi molto specifici |
| Agent training | Iterare sull'agente completo con eval | Sempre — ciclo continuo |
Quale ti tocca in base al tuo caso
- 90% dei casi: prompt + RAG + agent training. Senza fine-tuning.
- Ti serve un tono o stile molto specifico irraggiungibile col prompt: considera fine-tuning su un modello piccolo.
- Vincoli di latenza/costo: fine-tuning su Llama o modello simile per girare più veloce e più economico.
- Dati altamente specializzati (medicina, legale): combinazione di RAG potente + fine-tuning selettivo.
Come si costruiscono le eval (la parte che quasi nessuno fa)
Le eval sono il pezzo che separa un agente serio da una demo carina. E quasi nessuno le fa. Il processo:
- Raccogli 50-200 input rappresentativi dei casi reali che l'agente gestirà.
- Definisci l'output atteso per ognuno — o il range di output accettabili.
- Definisci criteri di valutazione automatica — metriche misurabili (correttezza fattuale, formato, assenza di allucinazioni).
- Esegui dopo ogni modifica dell'agente (prompt, RAG config, modello). Se il punteggio cala, non si rilascia.
- Iterazione del set — aggiungi casi limite che individui in produzione.
Il loop di miglioramento continuo
- La produzione cattura interazioni reali con feedback (CSAT, errori rilevati).
- Revisione settimanale da parte di un umano: identificazione di pattern di errore.
- Aggiornamento di KB / prompt / config in base a quello che hai trovato.
- Esecuzione delle eval per validare che non ci siano regressioni.
- Rilascio del cambiamento.
- Ritorno al passo 1.
Governance e dati sensibili
- API in piano business. OpenAI API e Anthropic API in piano business non si addestrano sui tuoi dati. Conferma nel tuo DPA.
- Anonimizzazione quando possibile. I pattern aggiungono valore al modello; i nomi no.
- Log cifrati. Se conservi conversazioni, cifra almeno quelle che contengono dati personali.
- Retention minima. Non conservare quello che non ti serve. Policy chiara di cancellazione.
- Audit regolare di quali dati entrano nel modello e da dove.