Wie du Support mit KI automatisierst: echte Deflection, keine Demo

Echte Deflection vs. aufgeblasene Deflection (wie die Zahlen täuschen)

Wenn dir jemand sagt „wir deflectieren 70% der Tickets", ist die richtige Frage nicht „wow", sondern „wie messt ihr das?". Aufgeblasene Deflection ist die häufigste Falle der Branche — und trivial zu erkennen, wenn du weißt, worauf zu schauen ist:

Die 4 Komponenten: KB, Agent, Routing, Supervision

1. Wissensbasis (KB). Strukturiert, versioniert, mit Metadaten. Ohne solide KB versagt der Rest.
2. Agent. Das LLM, das antwortet, mit System Prompt zu Scope, Ton und Grenzen.
3. Routing. Das System, das entscheidet, wann an einen Menschen eskaliert wird, und ihm den zusammengefassten Kontext mitgibt.
4. Supervision. Wöchentliche menschliche Prüfung der Grenzfälle + kontinuierliche Iteration von KB und Agent.

Wie der Agent trainiert wird (es ist nicht „du lädst ein PDF hoch")

Den Agenten zu trainieren ist nicht, ein PDF hochzuladen — es ist, ein gutes RAG-System (Retrieval-Augmented Generation) zu bauen, das die relevante Information aus deiner KB holt und dem Modell zur Nutzung mitgibt. Das „Training" im klassischen Sinn (Fine-Tuning) bringt fast nie mehr als ein guter Prompt + gutes RAG.

1. Strukturiere deine KB in kurze, in sich geschlossene Blöcke mit Metadaten (Thema, Datum, Quelle).
2. Erzeuge Embeddings dieser Blöcke mit einem passenden Modell (OpenAI ada oder Open-Source-Äquivalent).
3. Konfiguriere das Retrieval: wie viele Blöcke pro Anfrage, Ähnlichkeitsschwelle, Re-Ranking.
4. Schreib den System Prompt mit klaren Anweisungen, wie der abgerufene Kontext zu nutzen ist.
5. Konfiguriere die Eskalation: in welchen Fällen er NICHT antworten und an einen Menschen übergeben muss.

Die Schleife kontinuierlicher Verbesserung

KI-Support ist nicht „aufstellen und schauen, was passiert". Es ist eine wöchentliche Verbesserungsschleife in vier Schritten:

1. Wöchentliche Prüfung der Grenzfälle. Der menschliche Supervisor analysiert 30-50 zufällige Konversationen und markiert Treffer/Fehler.
2. KB-Update. Neue oder schlecht beantwortete Fragen werden sauber dokumentiert.
3. Agent-Tuning. Systemische Fehler werden über Prompt oder Routing korrigiert.
4. Automatische Evals. Ein Set repräsentativer Inputs läuft nach jeder Änderung, um Regressionen zu finden.

Kosten, SLAs und wann es sich nicht lohnt