Die These in einem Satz: Ab einem bestimmten Volumen hört alles-per-Hand-Prüfen auf, Prüfung zu sein, und wird zum Stempel. Wenn du weiter sehen willst, was dein Agent tut, muss die zweite Linie automatisch sein — und es muss ein anderer Agent sein, nicht derselbe mit einer anderen Frage.
Dein Prüfprozess wurde entworfen, als der Agent zwölf Dinge am Tag erledigte. Eine Person las alle zwölf, korrigierte zwei und lernte dabei etwas. Das funktionierte. Acht Monate später macht der Agent vierhundert, und die Person ist dieselbe, mit demselben Kalender und denselben Meetings. Niemand hat das Verfahren geändert: Es steht weiterhin überall „geprüft". Was sich geändert hat, ist die Bedeutung dieses Wortes.
Da steckt keine böse Absicht drin, sondern Arithmetik. Vierhundert Ausgaben mal zwei Minuten ehrliches Lesen sind über dreizehn Stunden. Niemand hat dreizehn Stunden, also passiert, was immer passiert: erste Zeile lesen, Format prüfen, freigeben. Die Kontrolle existiert weiterhin im Organigramm und hat aufgehört, in der Realität zu existieren.
Was ein KI-Aufseher-Agent ist und was er genau prüft
Ein KI-Aufseher-Agent ist ein zweiter Agent, dessen einzige Aufgabe darin besteht, das Ergebnis des ersten anzusehen, bevor die Aktion rausgeht, es gegen eine geschriebene Richtlinie zu halten und ein Urteil zu fällen: durchlassen, blockieren oder an einen Menschen eskalieren. Er erzeugt nichts. Er schreibt nichts um. Er hat keine Meinung dazu, ob es schöner klingen könnte. Er entscheidet genau eine Sache: ob das raus darf.
Was er prüft, ist bewusst langweilig — und genau deshalb funktioniert es. Vier geschlossene Fragen mit überprüfbarer Antwort:
- Dass das Behauptete existiert. Jede Zahl, jeder Name, jedes Datum und jeder Verweis in der Ausgabe muss in einer tatsächlich abgerufenen Quelle gezeigt werden können. Taucht eine Zahl auf, die in keinem abgerufenen Dokument steht, ist sie keine Zahl: Sie ist eine Erfindung in Zahlenform.
- Dass die Aktion im Erlaubten liegt. Welches Werkzeug aufgerufen wurde, auf welchem Datensatz, über welchen Betrag, in wessen Namen. Die Richtlinie sagt, was er anfassen darf; der Aufseher prüft, ob das, was gleich angefasst wird, auf dieser Liste steht und nicht auf einer anderen.
- Dass der Fall dem ähnelt, was die Richtlinie vorgesehen hat. Sprache, Kundentyp, Rechtsraum, Größe des Vorgangs. Ein Fall außerhalb des Vorgesehenen ist nicht zwangsläufig falsch: Er ist nicht abgedeckt, und das ist etwas anderes und wird anders behandelt.
- Dass kein Pflichtschritt übersprungen wurde. Wenn das Verfahren sagt, vor der Antwort auf eine Beschwerde wird die Historie geprüft, schaut der Aufseher nach, ob sie geprüft wurde. Das ist die dümmste der vier Prüfungen und die, die am häufigsten anschlägt.
Achte darauf, was NICHT auf der Liste steht: „ob die Antwort gut ist". Die durchschnittliche Qualität eines Systems misst man mit Evaluierungen über gespeicherte Fälle, vor dem Ausrollen, und das ist eine eigene Disziplin, die wir in Evaluierungen, ohne die du nicht weißt, ob deine KI funktioniert behandeln. Ein Aufseher misst keine Durchschnitte. Er sieht sich diesen Fall an, jetzt, und entscheidet, ob er rausgeht.
Warum reicht es nicht, wenn der Agent sich selbst prüft?
Weil der Bias gemessen ist und einen Namen hat. In Self-Preference Bias in LLM-as-a-Judge (Wataoka, Takahashi und Ri) schlagen die Autoren eine Metrik zur Quantifizierung vor und finden, dass GPT-4 die eigenen Ausgaben deutlich besser bewertet; ihre Hypothese ist, dass Modelle bevorzugen, was ihnen vertraut ist — gemessen als niedrigere Perplexität. Quelle: Self-Preference Bias in LLM-as-a-Judge, arXiv, 29. Oktober 2024 (überarbeitet im Juni 2025). Das ist ein technisches Ergebnis, keine Marktzahl: Es gilt in München genauso wie in Madrid.
Übersetzt in deinen Prozess: Einen Agenten zu bitten, sich selbst zu auditieren, heißt ihn zu bitten, an dem Satz zu zweifeln, der ihm vor zwei Sekunden das Natürlichste der Welt war. Er wird es in einem Teil der Fälle tun — mit viel Selbstsicherheit und wenig Nutzen.
Das Problem des geteilten Modells wird am häufigsten zitiert, ist aber nicht das schlimmste. Das schlimmste ist der geteilte Kontext. Entsteht der Fehler aus einem falsch abgerufenen Dokument, wird ein Prüfer, der genau dasselbe falsch abgerufene Dokument liest, den Fehler begeistert bestätigen und als verifiziert markieren. Unabhängigkeit ist hier kein moralisches Prinzip: Sie ist die mathematische Bedingung dafür, dass der zweite Blick Information liefert, die der erste nicht hatte.
Parallel oder zwischen Agent und Zielsystem?
Das ist die Architekturentscheidung, über die am meisten gestritten und am schlechtesten argumentiert wird, weil sie als technische Frage gestellt wird, obwohl sie eine Frage danach ist, welchen Fehler du dir leisten kannst. Es gibt nur zwei Positionen.
| Parallel (Beobachter) | Dazwischen (Türsteher) | |
|---|---|---|
| Was passiert, wenn er versagt | Die Aktion ist schon raus; du erfährst es später | Die Aktion geht nicht raus; der Prozess stoppt |
| Zusätzliche Latenz | Keine: er läuft danach | Eine Prüfung mehr bei jedem Vorgang |
| Welchen Fehler er verhindert | Keinen; er dokumentiert sie und lässt dich korrigieren | Die unumkehrbaren, also die, auf die es ankommt |
| Kosten eines Fehlalarms | Niedrig: eine Warnung zu viel | Hoch: du hast gute Arbeit blockiert |
| Wo es Sinn ergibt | Umkehrbare Aktionen, hohes Volumen, Einlaufphase | Geld, Dritte, regulierte Daten |
Unsere Regel ist kurz: Der Aufseher steht nur dort dazwischen, wo die Aktion unumkehrbar ist oder das Unternehmen verlässt. Überall sonst steht er daneben. Und man startet parallel, auch wenn man dazwischen landen will, denn in den ersten zwei Wochen ist seine Aufgabe nicht zu blockieren: Sie ist, dir zu zeigen, wie oft er blockiert hätte und mit welchen Begründungen. Ihn am ersten Tag als Türsteher zu setzen, heißt eine Bremse mit unbekannter Fehlalarmquote einzubauen.
Das ist keine Technologieentscheidung, sondern eine Autonomieentscheidung, und sie hängt an der, die du bereits getroffen hast, als du die Autonomiestufen eines Agenten festgelegt hast: Je freier die erste Linie läuft, desto besser begründet ist es, die zweite in ihren Weg zu stellen.
Durchlassen, blockieren oder eskalieren: einen vierten Ausgang gibt es nicht
Ein Aufseher mit mehr als drei Urteilen ist ein Aufseher mit Meinungen. Die drei — und was jedes davon zu bauen zwingt:
- Durchlassen. Die Aktion geht raus, und es ist festgehalten, dass sie durch den Aufseher lief, gegen welche Richtlinienversion und mit welchem Ergebnis. Ein „durchgelassen" ohne Spur ist wertlos: In sechs Monaten ist der Abstand zwischen „es wurde geprüft" und „wir können beweisen, dass es geprüft wurde" der ganze Abstand. Genau dieses Protokoll meinen wir mit der Nachvollziehbarkeit von KI-Entscheidungen.
- Blockieren. Die Aktion geht nicht raus. Sie geht mit dem konkreten Grund zurück an den ersten Agenten — welche Prüfung an welchem Datum scheiterte — und wird einmal wiederholt. Scheitert sie erneut, geht sie hoch. Eine stille Blockade, die niemand zählt, ist ein Leck: Die Arbeit steht, der Kunde wartet, und niemand merkt es, bis er anruft.
- Eskalieren. Der Fall geht fertig aufbereitet an einen Menschen: was der Agent vorschlug, welche Prüfung scheiterte, was die Richtlinie sagt und was vorgeschlagen wird. Eskalieren ist nicht Weiterleiten. Es heißt, mit der Arbeit fertig anzukommen, damit die Entscheidung eine Minute kostet und nicht zwanzig.
Die Kennzahl, auf die es bei einem Aufseher ankommt, ist nicht, wie viele Aktionen er blockiert hat: Es ist, wie viele er eskaliert hat und wie lange deren Klärung dauerte. Eskaliert er 40 %, hast du keine zweite Linie gebaut, sondern den Engpass umgezogen. Eskaliert er 0,5 %, ist entweder dein System makellos oder deine Richtlinie so lasch, dass sie nichts prüft. Der gesunde Bereich sieht der ersten Ziffer deutlich ähnlicher als der zweiten, und man justiert ihn, indem man die Eskalationen in den ersten Wochen einzeln liest.
Die Richtlinie, gegen die er vergleicht, fällt nicht vom Himmel: Es ist die, die du bereits geschrieben hast, als du die Anweisungen eines KI-Agenten definiert hast — mit einer nicht verhandelbaren Bedingung: separat geschrieben, separat versioniert. Erbt der Aufseher dasselbe Dokument, erbt er auch dessen blinde Flecken, und ein geerbter blinder Fleck wird nie entdeckt.
Die drei Fälle, in denen weiterhin ein Mensch nötig ist
Ein automatischer Aufseher schafft den Menschen nicht ab, er ändert seine Diät. Statt vierhundert Dinge zu überfliegen, liest er zwanzig richtig. Und es gibt drei Situationen, in denen diese zwanzig nicht verhandelbar sind.
- Der Betrag überschreitet eine Schwelle. Nicht weil der Agent sich bei 40.000 € häufiger irrt als bei 400, sondern weil die Kosten des Irrtums nicht mehr vom Prozess getragen werden, sondern von der Gewinn- und Verlustrechnung. Die Schwelle ist eine Geschäftsentscheidung, sie wird in Euro geschrieben und quartalsweise überprüft. Wo dieser Mensch sitzt, ohne zur Bremse für alles andere zu werden, ist das Design des Menschen in der Schleife einer Automatisierung.
- Die Verantwortung ist rechtlich nicht delegierbar. Hier gibt es keinen Gestaltungsspielraum, weil die Norm Personen benennt. Die europäische KI-Verordnung verlangt in Artikel 14 für die biometrischen Identifizierungssysteme nach Anhang III Nummer 1(a), dass keine Entscheidung getroffen wird, bevor die Identifizierung von mindestens zwei natürlichen Personen mit der nötigen Kompetenz, Ausbildung und Befugnis gesondert überprüft und bestätigt wurde. Quelle: Artikel 14 — Menschliche Aufsicht, Verordnung (EU) 2024/1689. In Spanien ergänzt die Datenschutzbehörde AEPD das Vier-Augen-Prinzip — doppelte Prüfung durch zwei verschiedene Personen — für automatische Verfahren mit großer Wirkung auf Rechte, in ihren Orientierungen zu agentischer KI (Version 1.2, Februar 2026). Zwei natürliche Personen sind zwei natürliche Personen: Kein Aufseher, so gut er auch sei, zählt als eine.
- Der Fall ähnelt nichts Vorgesehenem. Das ist der unangenehmste, weil man ihn nicht im Voraus in eine Regel schreiben kann. Ein Aufseher kann nur gegen das prüfen, was die Richtlinie bedacht hat; vor etwas wirklich Neuem ist das einzig Richtige einzuräumen, dass es nicht abgedeckt ist, und es weiterzugeben. Diese Fähigkeit, „das ist nicht meine Entscheidung" zu sagen, braucht auch die erste Linie, und sie ist in was ein KI-Agent tut, wenn er es nicht weiß ausgearbeitet. Der Unterschied: Ein Aufseher muss sich nach oben irren — im Zweifel eskaliert er.
Und wo der Mensch nötig ist, braucht es die Funktion, nicht den Gefallen: jemand mit geschriebenem Kriterium, einer Warteschlange, einer zugesagten Antwortzeit und einer Messung der eigenen Trefferquote. Das ist die menschliche Aufsicht über KI im großen Maßstab, und sie konkurriert nicht mit dem automatischen Aufseher — sie macht ihn erst brauchbar. Die Maschine filtert die langweiligen 95 %, damit menschliches Urteil vollständig auf die 5 % fällt, die es verdienen.
Was gestoppt wurde, was es wert war, welcher Nachweis bleibt
Hier kippt das Gespräch fast immer, weil der Aufseher als Sicherheitsthema vorgestellt wird und im Sicherheitsausschuss stirbt. Er ist ein Geschäftsthema. Zwei Zahlen zur Einordnung, beide von Gartner und beide global — es sind keine deutschen Daten: Mehr als 40 % der agentischen KI-Projekte werden bis Ende 2027 eingestellt, wegen steigender Kosten, unklaren Geschäftsnutzens oder unzureichender Risikokontrollen (Gartner, 25. Juni 2025); und Guardian-Agent-Technologien werden bis 2030 mindestens 10 % bis 15 % des Marktes für agentische KI ausmachen (Gartner, 11. Juni 2025).
Lies sie zusammen, und die Komödie wird sichtbar: Die Branche killt Projekte wegen fehlender Kontrolle und baut gleichzeitig eine ganze Kategorie auf, um dir genau diese Kontrolle als Produkt zu verkaufen. Was keine der beiden Zahlen dir sagt, ist, wie viel bei dir gestoppt wird. Diese Zahl hat Gartner nicht. Du hast sie, in deiner eigenen Historie, und sie ist die einzige, auf der man entscheiden kann.
Deshalb ist das Dashboard eines Aufsehers nicht technisch. Es sind fünf Geschäftszahlen: wie viele Aktionen diese Woche gestoppt wurden, welcher Art sie waren, was sie wert waren, wie viele sich als Fehlalarm herausstellten und wie lange jede Eskalation bis zur Klärung brauchte. Mit diesen fünf lässt sich das echte Gespräch über mehr oder weniger Autonomie führen. Ohne sie bleibt nur Bauchgefühl, und in dieser Diskussion gewinnt immer die lauteste Stimme.
Eine Warnung dazu, was das nicht ist: Es ist keine Sicherheit. Ein Aufseher prüft gegen eine Geschäftsrichtlinie; er verteidigt dich nicht gegen jemanden, der das System absichtlich täuschen will. Das ist ein anderes Problem, mit anderen Werkzeugen, einem anderen Team und einem anderen Budget, und wir behandeln es getrennt in den Risiken von KI-Agenten, die man in der Demo nicht sieht. Beides zu verwechseln ist der teuerste Weg, am Ende keines von beidem zu haben.
Was ich am Montag tun würde
Eine Frage und ein Experiment. Die Frage, mit Zahlen und ohne Schmuck: Wie viele Ausgaben produziert dein Agent pro Tag, und wie viele liest ein Mensch wirklich, ganz? Wenn diese zweite Zahl mal zwei Minuten mehr ergibt als die freie Zeit dieser Person, weißt du schon, dass deine Prüfung ein Stempel ist, und kannst hier aufhören zu lesen.
Das Experiment passt in zwei Wochen und fasst die Produktion nie an. Nimm die letzten fünfhundert Ausgaben deines Agenten, so wie sie gespeichert sind. Setze einen zweiten Agenten — anderes Modell, anderer Prompt, holt die Quellen selbst — darauf an, nur drei Dinge zu prüfen: dass die Zahlen in der Quelle existieren, dass die Aktion erlaubt war und dass kein Pflichtschritt übersprungen wurde. Zähle, wie viele er blockiert hätte, und lies sie einzeln durch. Sind zwei oder drei dabei, die nie hätten rausgehen dürfen, ist dein Business Case bereits geschrieben — und nicht von dir: von deiner eigenen Historie.
Die Frage im Titel hat eine unheroische Antwort. Den Prüfer prüfst du, ja — einmal die Woche, an einer Stichprobe. Den Rest der Zeit prüft ihn eine andere Maschine, mit einem anderen Kopf und anderen Quellen, gegen eine Richtlinie, die du an einem Tag geschrieben hast, an dem du ruhig warst. Elegant ist das nicht. Es ist das Einzige, was hält, wenn sich das Volumen verwierzigfacht und die Belegschaft nicht.