Illustratives Szenario. Ein Kunde fragt den Support-Agenten an einem Vormittag zweimal, ob er eine Bestellung nach 40 Tagen zurückgeben kann. Um 9:10 Uhr antwortet der Agent: „Ja, du hast 60 Tage.“ Um 11:30 Uhr antwortet er auf dieselben Worte: „Laut deiner Bestellung beträgt die Frist 30 Tage; wende dich an einen Berater.“ Beide Antworten klingen vernünftig, dasselbe System hat beide erzeugt, und eine davon wird gleich zur Reklamation. Dazwischen hat niemand etwas angefasst.
Die These in einer Zeile: Die Variabilität eines Modells ist kein Fehler, den man behebt, sondern eine Eigenschaft, die man begrenzt. Du entscheidest, welche Teile des Prozesses nie abweichen dürfen, welche Abweichung vertragen und wie du sie misst, bevor ein Kunde sie sieht.
Warum antwortet KI auf dieselbe Frage unterschiedlich?
Weil ein Sprachmodell keine gespeicherte Antwort abruft: Es berechnet sie jedes Mal neu. In jedem Schritt verteilt es Wahrscheinlichkeiten auf die möglichen Wörter und wählt eines aus, und diese Auswahl enthält bewusst einen Zufallsanteil; der Parameter dafür heißt Temperatur. Deshalb kann dieselbe Frage unterschiedliche Formulierungen liefern und, wenn die Frage Lücken lässt, unterschiedliche Schlüsse.
Drei weitere Quellen der Abweichung werden gern vergessen. Die erste ist alles, was die Frage umgibt: die Reihenfolge, in der das System Dokumente abruft, das Datum, der Verlauf oder das Gedächtnis verändern den Kontext und damit die Antwort. Die zweite ist der Server: Selbst bei Temperatur null garantieren die meisten Inferenzdienste keine identischen Ergebnisse, weil die numerische Berechnung von der Auslastung des Servers in diesem Moment abhängt (Thinking Machines, 2025). Die dritte ist der Anbieter: Ein Versionswechsel des Modells oder seiner Einstellungen verschiebt das Verhalten, ohne dass du etwas anfasst, derselbe Effekt, den wir in warum ein KI-Agent mit der Zeit schlechter wird, obwohl niemand etwas geändert hat beschreiben.
Lässt sich die Variabilität durch eine niedrigere Temperatur beseitigen?
Zum Teil, und ganz willst du es auch nicht. Eine niedrigere Temperatur verringert die Streuung der Formulierung, beseitigt sie aber nicht (die Quelle oben erklärt, warum), und sie ändert weder, was das Modell weiß, noch, was bei ihm ankommt. Sie behebt auch keinen Fehler: Bei niedriger Temperatur irrt sich ein falsches Modell gleichmäßiger. Mehr dazu in KI-Halluzinationen im Produktivbetrieb reduzieren. Und ein Teil der Abweichung ist genau das, was du willst: Sie sorgt dafür, dass sich eine Zusammenfassung oder Antwort dem Fall anpasst, statt wie eine Vorlage zu klingen.
Die nützliche Frage lautet nicht „Wie bringe ich sie dazu, immer gleich zu antworten?“, sondern „An welchen Stellen des Prozesses darf sie nicht anders antworten?“.
Welche Teile eines Prozesses müssen deterministisch sein und welche vertragen Abweichung?
Die Regel: Was der Kunde zitieren kann und was Geld oder Zusagen bewegt, kommt nicht aus freier Generierung. Es kommt aus einer Regel, einem Datenpunkt oder einer Vorlage; das Modell formuliert es höchstens aus.
| Teil des Prozesses | Verträgt Abweichung? | Wo es leben muss |
|---|---|---|
| Fristen, Beträge, Bedingungen, Daten | Nein | In einem Datenpunkt deines Systems oder einer Coderegel; das Modell zitiert es, es rechnet es nicht aus |
| Routing- oder Klassifizierungsentscheidung | Wenig | Geschlossene Ausgabe (eine Kategorienliste), Konfidenzschwelle und Prüfung der unsicheren Fälle |
| Formulierung, Ton, Zusammenfassung | Ja | In Anweisungen und Beispielen; das Modell hat darin Spielraum |
| Aktionen mit Wirkung (senden, abbuchen, löschen) | Nein | In einer deterministischen Prüfung vor der Ausführung und eng gefassten Berechtigungen |
Wenn fast dein ganzer Prozess in die „Nein“-Zeilen fällt, brauchst du vielleicht gar keinen Agenten: Ein klassischer Workflow ist günstiger und leichter zu prüfen, wie wir in Prozesse mit Agenten automatisieren, nicht mit Chatbots erklären. Und was du dem Modell überlässt, legst du in seinen Anweisungen fest: was es zitieren muss, was es nicht behaupten darf und was es tut, wenn ihm die Daten fehlen.
Wie misst du die Variabilität eines Agenten vor dem Produktivbetrieb?
Mit einem langweiligen, wiederholbaren Test. Es ist eine Methode, keine Zauberzahl:
- Sammle echte Fälle. Eine Reihe von Eingaben aus deinem Betrieb, auch die mehrdeutigen und seltsamen, nicht die aus der Demo.
- Wiederhole sie. Schicke jede Eingabe mehrmals durch das gesamte System (mit seinem Dokumentenabruf, nicht nur das Modell) und speichere jede Ausgabe.
- Vergleiche, was zählt. Bei Entscheidungsfeldern (Kategorie, Betrag, Ja oder Nein) verlangst du exakte Übereinstimmung. Beim Text vergleichst du mit einem Raster: Sagt er inhaltlich dasselbe?
- Lege pro Feld eine Schwelle fest. Ein Feld, das Geld bewegt, verträgt null Abweichungen; eine interne Zusammenfassung verträgt mehr. Lege die Schwellen fest, bevor du die Ergebnisse siehst.
- Wiederhole den Test bei jeder Änderung. Neues Modell, neue Anweisungen, neue Dokumentenquelle: erneut durchlaufen lassen.
Dieser Test ist eine Eval, und sie zu entwerfen und zu pflegen gehört zur Qualitätsbewertung von KI-Agenten. Sobald der Agent läuft, ist der nächste Schritt, die Leistung deiner Automatisierungen zu messen, damit sich keine Abweichung über Nacht einschleicht.
Was tust du, wenn zwei widersprüchliche Antworten schon bei einem Kunden angekommen sind?
Zuerst rekonstruiere, was passiert ist: Ohne Protokoll von Eingabe, abgerufenem Kontext, Modellversion und Ausgabe kannst du nicht wissen, welche der beiden Antworten richtig war. Dann schließ die Lücke:
- Hol die Angabe aus dem Freitext. Wenn der Widerspruch eine Frist oder Bedingung betraf, hör auf, sie zu generieren: Lass sie aus einer einzigen Quelle lesen.
- Lass das System sich selbst gegenprüfen. Bei riskanten Antworten zweimal generieren und, wenn sie inhaltlich nicht übereinstimmen, nicht senden: an eine Person weiterreichen. Das kostet pro Antwort mehr, also spar es dir für Stellen auf, an denen ein Fehler teuer wird.
- Passe die Autonomie ans Risiko an. Was nicht abweichen darf und sich nicht automatisch validieren lässt, prüft vor dem Versand ein Mensch. Dafür gibt es die Autonomiestufen eines Agenten und den Menschen in der Schleife.
Wann lohnt es sich nicht, Konsistenz zu erzwingen?
Wenn die Ausgabe ein Entwurf ist, den eine Person liest und überarbeitet, wenn ein Fehler billig und umkehrbar ist oder wenn die Abweichung der Wert ist (Ideen, Textvarianten). Null Abweichung zu verlangen macht das System dort teurer, ohne jemanden zu schützen. Setz die Strenge dort ein, wo eine andere Antwort Geld oder Vertrauen kostet, und lass den Rest atmen.
Der Satz zum Mitnehmen: Verlang nicht vom Modell, immer gleich zu sein; bau den Prozess so, dass nicht von ihm abhängt, was sich nicht ändern darf.
Quellen (abgerufen am 29. Oktober 2026): „Defeating Nondeterminism in LLM Inference“, Thinking Machines Lab (10. September 2025), qualitativ verwendet. Das einleitende Szenario ist illustrativ.