Was ein KI-Agent macht, wenn er die Antwort nicht kennt (und was deiner heute macht)
Ein gut gebauter Agent macht drei Dinge, in dieser Reihenfolge: Er erkennt an einem messbaren Signal, dass er es nicht weiß, er enthält sich der Antwort oder der Handlung, und er übergibt den Fall an einen Menschen, mit dem Kontext schon gesammelt. Ein schlecht gebauter macht genau eins: Er antwortet trotzdem. Schnell, gut formuliert und selbstsicher — und genau das macht den Fehler teuer, weil ihn dann niemand ein zweites Mal anschaut.
Daher die These dieses Leitfadens, die übertrieben klingt und es nicht ist: Ein Agent, der nie zweifelt, ist der gefährlichste, den du haben kannst. Ein Zweifel, den man sieht — »das weiß ich nicht, ich verbinde dich mit jemandem, der es weiß« — kostet eine Weiterleitung. Ein Zweifel, den man nicht sieht — eine plausible falsche Antwort, ein nach Gefühl gefülltes Feld, eine Erstattung ohne Grundlage — kostet den Fehler plus die Zeit, ihn zu finden, und der zweite Posten ist fast immer größer. Ein Agent wird deshalb nicht an seinem besten Fall gemessen, sondern an dem, was er im schlechtesten tut.
Was jetzt kommt, geht nicht ums Modell-Tuning. Erfindung auf Antwortebene zu senken — Grounding, Belege, eine anständige Recherche — ist eine andere Baustelle, und die muss sein: Das steht in KI-Halluzinationen in der Produktion senken. Hier geht es um alles rund um den Moment des Zweifels, und das baust du in deinem System — gleich, ob der Agent Support macht, Rechnungen liest oder einen Bericht vorbereitet. Die konkreten Übergabekriterien eines Support-Chatbots stehen in einen KI-Chatbot bauen; hier kommt das allgemeine Stück.
Dein Agent ist darauf trainiert, nie still zu sein
Bevor du irgendetwas entwirfst, musst du den Ausgangspunkt akzeptieren, und der ist unangenehm: Das Modell darunter kommt ab Werk mit einer Abneigung gegen Schweigen. Das ist keine Querdenker-Meinung aus der Beratung. Kalai, Nachum, Vempala und Zhang formulieren es ohne Umschweife: Sprachmodelle halluzinieren, weil Trainings- und Evaluationsverfahren das Raten höher belohnen als das Eingestehen von Unsicherheit, und das Problem bleibt, weil die meisten Evaluationen so bewertet werden, dass Modelle zu guten Prüflingen optimiert werden — und ein guter Prüfling antwortet auch dann, wenn er nichts weiß. Quelle: Why Language Models Hallucinate, Kalai, Nachum, Vempala und Zhang (OpenAI), 4. September 2025, abgerufen am 13. September 2026.
Die operative Folgerung ist die wichtige: Enthaltung ist kein schlummerndes Verhalten, das du mit einem Satz im Prompt weckst. »Wenn du es nicht weißt, sag es« hilft am Rand und versagt genau da, wo es wehtut, weil du Vorsicht von einem System verlangst, das auf das Gegenteil trainiert ist. Zweifel muss außerhalb des Modells gebaut werden: Signale, die das System berechnet, Prüfungen, die vor dem Handeln laufen, und ein Ausgang zu einem Menschen, den es wirklich gibt.
Es gibt eine zweite Falle, noch beliebter: das Modell fragen, wie sicher es sich ist. Das funktioniert nicht, und es ist gemessen. Die Untersuchung von Xiong und Kollegen zur Confidence-Elizitierung zeigt, dass Modelle stark selbstüberschätzend sind, wenn sie ihre Konfidenz verbalisieren, mit Werten, die sich überwältigend im Bereich von 80 % bis 100 % ballen. Quelle: Can LLMs Express Their Uncertainty?, Xiong et al., ICLR 2024, abgerufen am 13. September 2026. Eine Zahl, die fast immer neunzig sagt, ist kein Signal, sondern Dekoration.
Die Zweifelssignale, die etwas taugen — und das eine, das alle benutzen
Nützlicher Zweifel kommt nicht aus dem Modell, sondern aus dem System drumherum. Das sind berechenbare Signale, jedes mit eigenem Auslöser, und keines braucht ein ehrliches Modell.
| Signal | Woher es kommt | Was es auslöst |
|---|---|---|
| Quellenabdeckung | Der Retrieval-Schritt, nicht das Modell | Keine Passage über dem Schwellenwert, oder die gefundene enthält die gefragte Angabe nicht |
| Widerspruch mit sich selbst | Zwei Durchläufe über dieselbe Eingabe | Die beiden Antworten stimmen bei der entscheidenden Angabe nicht überein |
| Gebrochener Ausgabevertrag | Die Validierung, bevor irgendetwas geschrieben wird | Ein Pflichtfeld fehlt, ein Betrag ist keine Zahl, ein Datum existiert nicht |
| Harte Geschäftsregel | Deine Richtlinie, nicht das Modell | Betrag über dem Limit, Kunde ohne Historie, regulierte Daten, Land außerhalb des Geltungsbereichs |
| Fehlzähler | Der Orchestrator | N Wiederholungen oder N Runden ohne Fortschritt |
| Ausdrückliche Bitte | Die Person auf der anderen Seite | »Ich will mit jemandem sprechen« |
Die ersten drei baust du am selben Tag, und sie fangen am meisten ab. Die Quellenabdeckung bringt pro investiertem Euro am meisten: Wenn der Agent über deine Dokumente antwortet und das Retrieval nichts Relevantes gebracht hat, weißt du schon, dass alles Folgende Erfindung ist — ohne es zu lesen. Binär, billig und zeitlich vor der Antwort.
Eine Feinheit, die den häufigsten Designfehler verhindert: Diese Signale addieren sich nicht zu einer magischen Zahl. Jedes verlangt eine andere Behandlung. Leere Abdeckung wird mit »dazu habe ich nichts dokumentiert« und einer Übergabe beantwortet. Der gebrochene Vertrag bekommt einen begrenzten Wiederholungsversuch und, wenn er wieder bricht, die Warteschlange. Die harte Regel verhandelt mit keinem anderen Signal: Wenn der Betrag über dem Limit liegt, geht der Fall an einen Menschen, auch wenn der Agent felsenfest überzeugt ist. Ein globaler Konfidenzwert vermischt Dinge, die sich nicht ähneln, und versteckt am Ende die ersten drei.
Vor dem Handeln prüfen: an einer Antwort zweifeln ist nicht an einer Aktion zweifeln
Enthaltung hat zwei Versionen, und sie zu verwechseln ist teuer. Sich einer Antwort zu enthalten, ist billig: Wenn du zu oft schweigst, antwortet später jemand. Sich einer Handlung zu enthalten, ist eine andere Liga, denn eine falsche Aktion hinterlässt Spuren in einem System, und sie rückgängig zu machen kostet mehr, als sie zu tun. Die Latte kann an beiden Stellen nicht gleich hoch liegen.
Der OpenAI-Leitfaden zum Bau von Agenten ordnet das nach Werkzeug, nicht nach Gespräch: Er empfiehlt, das Risiko jedes Werkzeugs des Agenten zu bewerten und ihm eine Einstufung zu geben — niedrig, mittel oder hoch — nach Lese- oder Schreibzugriff, Umkehrbarkeit der Aktion, benötigten Berechtigungen und finanzieller Auswirkung; und diese Einstufung zu nutzen, um automatische Aktionen auszulösen, etwa vor Funktionen mit hohem Risiko für Prüfungen anzuhalten oder an einen Menschen zu eskalieren. Zur menschlichen Intervention wird er ebenso konkret: Die zwei üblichen Auslöser sind das Überschreiten von Fehlerschwellen — Grenzen für Wiederholungen, oder die Absicht des Nutzers nach mehreren Versuchen nicht zu verstehen — und Aktionen mit hohem Risiko, die sensibel, unumkehrbar oder folgenschwer sind, etwa Bestellungen stornieren, große Erstattungen freigeben oder Zahlungen auslösen. Quelle: A practical guide to building agents, OpenAI, abgerufen am 13. September 2026.
- Prüfen, bevor geschrieben wird. Wenn der Agent ein System anfasst, wird die Angabe gegen die maßgebliche Quelle geprüft — Stammdaten, ERP, Vertrag — und nicht gegen das, was das Modell erinnert. Bei Aktionen ist die Prüfung keine Verbesserung, sie ist der Schritt.
- Wenn es nicht umkehrbar ist, gilt kein Schwellenwert. Kein Konfidenzmaß autorisiert eine Aktion, die man nicht rückgängig machen kann. Die wird immer bestätigt, auch wenn der Agent seit sechs Monaten fehlerfrei läuft.
- Wenn die Prüfung nicht laufen kann, ist das schon der Zweifel. Das System, das bestätigen sollte, ist down, das Dokument öffnet nicht, die Kennung existiert nicht. Das ist kein Sonderfall, den man per Analogie löst: Das ist ein Fall, der stoppt.
Das hängt an zwei Entscheidungen, die getrennt fallen und die man besser nicht vermischt: Was der Agent anfassen darf, steht in welche Berechtigungen ein KI-Agent bekommt, und wie viel er allein machen darf, in den Autonomiestufen eines Agenten. Das Zweifelsverhalten ist das dritte Bein: was passiert, wenn der konkrete Fall mit diesen Rechten und auf dieser Stufe trotzdem nicht trägt.
Wo du den Schwellenwert setzt, ohne das Team zu ersticken
Der Schwellenwert ist keine Zahl, die man aus einem Artikel abschreibt: Er ist die Folge von zwei Dingen, die dir gehören — den Kosten des Fehlers und der Kapazität der Warteschlange. Ist der Fehler billig und sichtbar, darf der Schwellenwert locker sein. Ist er teuer und leise, wird angezogen. Und wenn die Zahl der Fälle, die in die Prüfung geht, nicht in die Stunden deines Teams passt, ist dieser Schwellenwert nicht vorsichtig: In drei Wochen wird er im Block abgenickt, ohne zu lesen — schlimmer als keiner, weil zusätzlich ein Protokoll entsteht, das behauptet, jemand habe hingesehen.
- Sortiere die Aufgaben des Agenten in drei Eimer nach Fehlerkosten: billig und sichtbar, teuer und sichtbar, teuer und unsichtbar. Der dritte bestimmt: Dort sitzt der Schwellenwert, wo er sitzen muss, auch wenn es wehtut.
- Starte bewusst pessimistisch. Einen Schwellenwert, den du mit Daten lockerst, verteidigst du leichter als einen, den du nach einem Vorfall anziehst.
- Miss zwei Wochen und schau auf die Enthaltungen, nicht auf die Treffer. Markiere bei jedem Fall in der Warteschlange, ob die Person ihn anders gelöst hat — die Enthaltung war richtig — oder genauso wie der Agent — sie war Rauschen. Diese Aufteilung bewegt den Schwellenwert, nicht das Bauchgefühl.
- Justiere pro Segment, nie global: Neukunde gegen Zehnjahreskunde, kleiner Betrag gegen großen, Sprache mit Dokumentation gegen Sprache ohne.
- Setz die Kapazität als harte Decke. Wenn die Warteschlange beim richtigen Schwellenwert nicht passt, lautet die Folgerung nicht, den Schwellenwert zu senken: Diese Aufgabe gehört ohne mehr Hände noch nicht in die Produktion.
Wenn das Volumen wächst, hört das auf, eine Einstellung zu sein, und wird eine Funktion mit Schichten, Abdeckung und eigenen Kennzahlen: Das ist menschliche Aufsicht über KI im großen Maßstab, und man baut sie besser, bevor man sie braucht.
Was bei der Übergabe mitreisen muss, damit die Person nicht bei null anfängt
Eine Übergabe ohne Kontext ist ein gut erkannter und schlecht gelöster Zweifel. Der Agent hat seinen Teil gemacht — er hat rechtzeitig gestoppt — und der Kunde erzählt sein Problem trotzdem ein zweites Mal, und genau das ist was an einem Chatbot wütend macht. Bei einer internen Übergabe passiert dasselbe, ohne dass sich jemand beschwert: Die Person baut von Hand wieder auf, was das System schon hatte.
Die Mechanik ist in den beiden Referenz-Leitfäden gelöst. Im dezentralen Muster, das OpenAI beschreibt, überträgt eine Übergabe die Kontrolle und zusätzlich den letzten Gesprächszustand; und ein Agent kann per Definition die Ausführung anhalten und die Kontrolle an den Nutzer zurückgeben, wenn etwas scheitert. Anthropic fasst es als Haltepunkte: Agenten können an Checkpoints oder bei einer Blockade für menschliches Eingreifen pausieren, und man sollte Abbruchbedingungen festlegen — eine maximale Zahl von Iterationen —, um die Kontrolle zu behalten. Quellen: A practical guide to building agents, OpenAI, und Building effective agents, Anthropic, 19. Dezember 2024; beide abgerufen am 13. September 2026.
Was die Dokumentation dir nicht gibt, ist der Inhalt des Pakets. Das sind die sechs Felder, mit denen eine Übergabe Zeit spart statt kostet:
- Was der Fall wollte, in einer Zeile, mit den Worten dessen, der gefragt hat.
- Was der Agent gemacht hat, bevor er stoppte: was er abgefragt, was er gefunden, was er geschrieben hat, falls er etwas geschrieben hat.
- Warum er gestoppt hat: das konkrete Signal, das ausgelöst hat, nicht »niedrige Konfidenz«. »Kein Dokument deckt die Frage ab« und »der Betrag liegt über dem Limit« verlangen zwei verschiedene Dinge von der Person.
- Was er schon gesammelt hat: Kennungen, Anhänge, geprüfte Daten. Wenn die Person sie erneut anfordern muss, ist die Übergabe gescheitert.
- Was er NICHT gemacht hat, wenn es zählt: »es wurde nichts an den Kunden geschickt«, »die Bestellung wurde nicht angefasst«. Das verhindert die doppelte Aktion, den klassischen Eskalationsunfall.
- Was von der Person erwartet wird: entscheiden, formulieren, freigeben. Ein Fall, der ohne Verb ankommt, bleibt in der Warteschlange liegen.
Und der Rückweg fehlt, den fast niemand baut: Die Entscheidung der Person muss mit ihrer Begründung zurück ins Protokoll. Ohne das ist jede Enthaltung ein verlorener Fall; mit dem wird die Prüfschlange zur Fallsammlung, an der du den Agenten im nächsten Monat misst. Das ist der Unterschied zwischen einem System, das eskaliert, und einem, das aus dem Eskalierten auch lernt.
Wie man einen Agenten misst, der gut zweifelt (und warum deine Eval ihn heute bestraft)
Wenn deine einzige Kennzahl die Trefferquote ist, reproduzierst du zu Hause genau das Problem, das Kalai und Kollegen beschreiben: Wenn »ich weiß es nicht« genauso bewertet wird wie eine falsche Antwort, ist Raten rational. Sie nennen es eine Epidemie der Bestrafung unsicherer Antworten, und ihr Vorschlag ist nicht, noch eine Halluzinations-Eval hinzuzufügen, sondern zu ändern, wie die bereits genutzten Evals bewertet werden. In deinem Unternehmen ist es derselbe Eingriff, und er passt in drei Zahlen.
- Enthaltungsrate. Welcher Anteil der Fälle den Agenten stoppt. Es gibt keinen universell guten Wert: Es gibt einen erwarteten Wert, den du festlegst, und einen Trend, den du beobachtest. Fällt er von einem Monat zum nächsten von allein, ohne dass du etwas geändert hast, ist am Signal etwas kaputtgegangen.
- Präzision der Enthaltung. Von dem, was in die Warteschlange ging, welcher Teil von der Person anders gelöst wurde, als der Agent es getan hätte. Das ist die Kennzahl, die einen vorsichtigen Agenten von einem feigen unterscheidet.
- Fehler mit Selbstsicherheit. Fälle, die schiefgingen, ohne dass der Agent etwas markiert hat. Das ist die einzige der drei mit einem klaren Ziel, und es lautet null. Jeder einzelne wird geöffnet und wird zu einem neuen Signal oder zu einer harten Regel.
Mit diesen drei Zahlen wechselt das Gespräch den Ort: Aus »ist der Agent gut?« wird »worin irrt er sich, und weiß er es?«. Das ist die einzige Version der Frage, die man mit Daten beantworten kann.
Wir bauen dieses Verhalten vor dem Agenten: berechnete Signale, Pflichtprüfung bei allem, was er schreibt, ein an die echte Kapazität gebundener Schwellenwert und eine Übergabe mit den sechs Feldern. Das liegt unter KI-Support rund um die Uhr und unter jedem Agenten, den wir mit einem deiner Kunden sprechen lassen, und es wird im Volumen in menschlicher Aufsicht über KI im großen Maßstab überwacht. Der Rest des Aufbaus — Berechtigungen, Autonomie, Gedächtnis, Evals — steht in einen KI-Agenten bauen, der Produktion aushält.