I 4 livelli di "addestramento": prompt, RAG, fine-tune, agent training
| Livello | Cos'è | Quando |
|---|---|---|
| Prompt engineering | Scrivere buone istruzioni (system prompt) | Sempre — base di tutto |
| RAG | Connettere il modello alla tua knowledge base | Quando l'agente deve usare info specifiche tue |
| Fine-tuning | Aggiustare il modello con i tuoi esempi | Raramente — solo casi molto specifici |
| Agent training | Iterare sull'agente completo con eval | Sempre — ciclo continuo |
Quale ti tocca in base al tuo caso
- 90% dei casi: prompt + RAG + agent training. Senza fine-tuning.
- Ti serve un tono o stile molto specifico irraggiungibile col prompt: considera fine-tuning su un modello piccolo.
- Vincoli di latenza/costo: fine-tuning su Llama o modello simile per girare più veloce e più economico.
- Dati altamente specializzati (medicina, legale): combinazione di RAG potente + fine-tuning selettivo.
Se il tuo punto di partenza è un GPT personalizzato di ChatGPT, tieni presente che lì nessun ciclo è possibile: chi lo costruisce non può vedere le conversazioni degli utenti, quindi le eval vanno montate fuori. Il perché e gli altri tre muri, in creare un agente con ChatGPT.
Come si costruiscono le eval (la parte che quasi nessuno fa)
Le eval sono il pezzo che separa un agente serio da una demo carina. E quasi nessuno le fa. Il processo:
- Raccogli 50-200 input rappresentativi dei casi reali che l'agente gestirà.
- Definisci l'output atteso per ognuno — o il range di output accettabili.
- Definisci criteri di valutazione automatica — metriche misurabili (correttezza fattuale, formato, assenza di allucinazioni).
- Esegui dopo ogni modifica dell'agente (prompt, RAG config, modello). Se il punteggio cala, non si rilascia.
- Iterazione del set — aggiungi casi limite che individui in produzione.
Il loop di miglioramento continuo
- La produzione cattura interazioni reali con feedback (CSAT, errori rilevati).
- Revisione settimanale da parte di un umano: identificazione di pattern di errore.
- Aggiornamento di KB / prompt / config in base a quello che hai trovato.
- Esecuzione delle eval per validare che non ci siano regressioni.
- Rilascio del cambiamento.
- Ritorno al passo 1.
Governance e dati sensibili
- API in piano business. OpenAI API e Anthropic API in piano business non si addestrano sui tuoi dati. Conferma nel tuo DPA.
- Anonimizzazione quando possibile. I pattern aggiungono valore al modello; i nomi no.
- Log cifrati. Se conservi conversazioni, cifra almeno quelle che contengono dati personali.
- Retention minima. Non conservare quello che non ti serve. Policy chiara di cancellazione.
- Audit regolare di quali dati entrano nel modello e da dove.