Die 4 „Training"-Ebenen: Prompt, RAG, Fine-Tune, Agent Training
| Ebene | Was es ist | Wann |
|---|---|---|
| Prompt Engineering | Gute Anweisungen schreiben (System-Prompt) | Immer — Basis von allem |
| RAG | Modell an deine Wissensbasis anbinden | Wenn der Agent spezifische Info von dir nutzen muss |
| Fine-Tuning | Modell mit deinen Beispielen anpassen | Selten — nur sehr spezifische Fälle |
| Agent Training | Über den kompletten Agenten mit Evals iterieren | Immer — kontinuierlicher Zyklus |
Welches dich betrifft je nach Fall
- 90% der Fälle: Prompt + RAG + Agent Training. Ohne Fine-Tuning.
- Du brauchst sehr spezifischen Ton oder Stil, unerreichbar mit Prompt: erwäge Fine-Tuning auf einem kleinen Modell.
- Latenz-/Kosten-Restriktionen: Fine-Tuning auf Llama oder ähnlichem Modell, um schneller und günstiger zu laufen.
- Hochspezialisierte Daten (Medizin, Recht): Kombination aus starkem RAG + selektivem Fine-Tuning.
Wenn dein Startpunkt ein Custom GPT von ChatGPT ist: Dort ist keine Schleife möglich — wer ihn baut, sieht die Unterhaltungen der Nutzer nicht, also müssen die Evals außerhalb entstehen. Das Warum und die anderen drei Wände stehen in einen Agenten mit ChatGPT bauen.
Wie Evals gebaut werden (der Teil, den fast niemand macht)
Evals sind das Stück, das einen seriösen Agenten von einer hübschen Demo trennt. Und fast niemand macht sie. Der Prozess:
- Sammle 50-200 repräsentative Inputs der echten Fälle, die der Agent handhaben wird.
- Definiere den erwarteten Output für jeden — oder den Bereich akzeptabler Outputs.
- Definiere automatische Evaluationskriterien — messbare Metriken (faktische Korrektheit, Format, Abwesenheit von Halluzinationen).
- Führe nach jedem Change des Agenten aus (Prompt, RAG-Config, Model). Wenn der Score fällt, wird nicht deployed.
- Iteration des Sets — füge Grenzfälle hinzu, die du in Produktion erkennst.
Der kontinuierliche Verbesserungsloop
- Produktion erfasst echte Interaktionen mit Feedback (CSAT, erkannte Fehler).
- Wöchentliches Review durch Menschen: Identifikation von Fehlermustern.
- Aktualisierung der KB / des Prompts / der Config basierend auf dem Gefundenen.
- Eval-Ausführung, um zu validieren, dass es keine Regressionen gibt.
- Deployment des Changes.
- Zurück zu Schritt 1.
Governance und sensible Daten
- APIs im Business-Plan. OpenAI API und Anthropic API im Business-Plan trainieren nicht mit deinen Daten. Bestätige es in deiner DPA.
- Anonymisierung wo möglich. Muster tragen zum Modell bei; Namen nicht.
- Verschlüsselte Logs. Wenn du Konversationen speicherst, verschlüssele mindestens die mit personenbezogenen Daten.
- Minimale Retention. Speichere nicht, was du nicht brauchst. Klare Löschpolitik.
- Regelmäßige Audits dazu, welche Daten ins Modell wandern und von wo.