Wie viel Autonomie ein KI-Agent bekommt, ist keine Ja-oder-Nein-Frage
Das Gespräch über Autonomie wird fast immer wie ein Schalter geführt: Entweder macht der Agent die Dinge allein, oder er macht sie nicht. Mit dieser Fragestellung gibt es nur zwei mögliche Enden, und beide sind schlecht. Das erste ist, ihn für immer im Vorschlagsmodus zu lassen, wo niemand etwas riskiert: Die Person macht weiterhin die ganze Arbeit, jetzt mit einer zusätzlichen Meinung auf dem Tisch, und das System spart keine einzige echte Stunde. Das zweite ist, ihn am ersten Tag komplett loszulassen, weil die Demo gut lief — und vom Fehler zu erfahren, wenn er bereits in der E-Mail eines Kunden steht.
Autonomie ist kein Schalter, sie ist eine Leiter. Und wie bei jeder Leiter steigt man eine Stufe nach der anderen, und nur dann, wenn die vorherige das Gewicht trägt. Es folgen die fünf Stufen, die drei Kriterien, die einen Aufstieg genehmigen, und die kurze Liste der Aktionen, die per Design auf halber Höhe stehen bleiben. Wenn du gerade noch entscheidest, was der Agent überhaupt anfassen darf, ist das die vorherige Entscheidung, und sie ist gelöst in welche Berechtigungen ein KI-Agent bekommen sollte: Die Berechtigungen bestimmen die Reichweite, die Autonomie bestimmt die Geschwindigkeit. Das ist nicht dasselbe, und es wird getrennt entschieden.
Die fünf Stufen, eine nach der anderen
Die Stufen ordnen sich nach zwei Fragen: wer ausführt und wer prüft. Nicht danach, wie schlau das Modell ist.
Stufe 1 — Läuft im Schatten mit
Der Agent bekommt die echten Fälle, macht seine Arbeit vollständig, und seine Ausgabe erreicht niemanden: Sie bleibt im Protokoll. Der Betrieb merkt nicht einmal, dass es ihn gibt. Es ist die einzige Stufe, auf der ein Fehler nichts kostet, und deshalb der einzige Ort, an dem du es dir leisten kannst herauszufinden, was das System nicht kann.
Gemessen wird hier nicht, „ob er richtig liegt", sondern womit du ihn vergleichst. Im Schattenbetrieb musst du die menschliche Entscheidung zum selben Fall aufbewahren, um beide nebeneinanderlegen zu können. Speicherst du nur die Ausgabe des Agenten, hast du am Monatsende tausend Antworten und keine Möglichkeit zu wissen, ob sie gut waren. Diese Stufe wird am häufigsten übersprungen — sie produziert nichts Sichtbares, also wirkt sie wie verlorene Zeit — und ihr Überspringen kommt am teuersten: Ohne sie macht die erste echte Messung des Systems ein Kunde.
Stufe 2 — Schlägt vor
Seine Ausgabe erreicht die Person als Vorschlag. Die Person macht weiterhin die Arbeit; was der Agent ihr abnimmt, ist das leere Blatt. Die Ersparnis ist echt, aber bescheiden, und genau das ist der Punkt: Es ist eine Lernstufe, keine Ertragsstufe. Ihr Wert liegt darin, dass hier die erste Zahl auftaucht, die wirklich zählt — die Korrekturquote —, und sie taucht gratis auf, weil die Person ohnehin geprüft hätte.
Der typische Fehler auf Stufe 2 ist, sich dort häuslich einzurichten. Ein System, das seit acht Monaten Vorschläge macht, ist nicht vorsichtig: Es ist ein System, das niemand zu bewerten wagt. Wenn die Zahlen für einen Aufstieg reichen und trotzdem nicht aufgestiegen wird, fehlt nicht die Evidenz, sondern jemand, der unterschreibt.
Stufe 3 — Führt aus, nach Bestätigung
Der Agent legt die Aktion fertig vorbereitet hin — die E-Mail geschrieben, der Buchungssatz sauber, das Ticket klassifiziert und weitergeleitet — und eine Person drückt den Knopf. Es ist das Muster, das die Literatur human in the loop nennt, und der Unterschied zu Stufe 2 liegt darin, wer die Arbeit trägt: Auf Stufe 2 führt die Person aus, auf Stufe 3 prüft sie. Genau dort taucht die erste Ersparnis auf, die man in der Stundenbilanz sieht.
Achtung: Stufe 3 verfällt von selbst. Wenn die Bestätigung ein Klick auf zwanzig identische Einträge ist, ist sie keine Aufsicht mehr, sondern eine Formalität. Geht deine Ablehnungsquote gegen null, freu dich nicht zu früh: Schau nach, ob das System besser geworden ist oder ob der Prüfer aufgehört hat zu lesen. Die Form der Aufsicht und ihre Mechanik sind ausgeführt in Mensch im Loop in einer KI-Automatisierung; entscheidend ist nicht, dass jemand hinschaut, sondern dass diese Person Kontext, Zeit und echte Befugnis hat, Nein zu sagen.
Stufe 4 — Führt aus und meldet
Der Agent handelt und hinterlässt die Meldung. Die Person genehmigt nicht mehr: Sie wacht. Das nennt man human on the loop. Diese Stufe ergibt nur Sinn, wenn es ein echtes Fenster zum Rückgängigmachen gibt: eine Zeitspanne, in der sich die Aktion zurücknehmen lässt, ohne dass sie irgendjemanden etwas gekostet hat. Ein Entwurf, der in zehn Minuten rausgeht und sich abbrechen lässt, hat ein Fenster. Eine ausgestellte Rechnung nicht.
Was hier zu entwerfen ist, ist nicht die Meldung — das ist der leichte Teil —, es ist das Rückgängigmachen. Wenn der Plan zur Umkehr lautet „wir rufen den Kunden an und entschuldigen uns", hast du keine Stufe 4: Du hast eine verkleidete Stufe 5, mit einer Verantwortung, die auf niemanden verteilt ist.
Stufe 5 — Führt aus und legt Rechenschaft ab
Der Agent handelt, und niemand schaut Fall für Fall hin. Geprüft wird das Aggregat: eine wöchentliche Stichprobe, die üblichen Kennzahlen und die Ausnahmen, die das System selbst meldet. Das ist keine fehlende Aufsicht, das ist statistische Aufsicht — und sie funktioniert nur, wenn das System sagen kann, wann es sich nicht sicher ist. Ein Agent, der keine Möglichkeit hat zu sagen „das ist mir nicht klar", kann nicht auf Stufe 5 stehen, denn seine Fehler kommen mit demselben Gesicht daher wie seine Treffer.
Sehr wenige Aufgaben kommen hier an, und die, die es tun, teilen ein Profil: hohes Volumen, billiger Fehler, schnelle Korrektur. Klassifizieren, weiterleiten, etikettieren, Felder aus einem Dokument ziehen, damit ein anderes System sie prüft. Wenn das Volumen dessen, was geprüft werden muss, nicht mehr in eine Person passt, wird die Aufsicht zu einer Funktion mit eigenem Prozess, und das ist dann menschliche Aufsicht über KI im großen Maßstab.
Die drei Kriterien für einen Aufstieg („läuft gut" ist keins)
Eine Stufe steigt man mit Evidenz, und die Evidenz sind drei Zahlen, die gleichzeitig dafür sprechen müssen. Zwei von dreien genehmigen nichts.
1. Volumen der gesehenen Fälle
Mit zwanzig Fällen weißt du nichts: Du weißt, dass der Agent in den zwanzig Fällen funktioniert, die ihm zugefallen sind. Nötig ist keine magische Zahl, nötig ist, die seltenen gesehen zu haben: der Kunde, der in zwei Sprachen schreibt, die Rechnung ohne Bestellnummer, der Monatsabschluss, der Lieferant, der mit einem verkehrt herum eingescannten PDF antwortet. Eine praktische Regel: Wenn du nicht drei seltene Fälle benennen kannst, die der Agent bereits gut gelöst hat, misst du noch das Leichte.
2. Menschliche Korrekturquote — und ihre Form
Der Anteil der Fälle, in denen die Person geändert hat, was der Agent vorschlug. Aber die Zahl allein, ohne ihre Form, täuscht. 10 % Korrekturen, zufällig verteilt, sind tolerierbares Rauschen. 10 % Korrekturen, immer auf denselben Falltyp konzentriert, sind ein bekanntes Loch, das der Mittelwert dir gerade verbirgt — und mit diesem offenen Loch eine Stufe zu steigen heißt, genau den Fehler zu automatisieren. Bevor du auf den Prozentsatz schaust, gruppiere die Korrekturen nach Grund; wenn ein Grund mehr als die Hälfte auf sich zieht, ist dieser Grund die offene Arbeit, nicht der Aufstieg.
3. Umkehrbarkeit der Aktion
Drei Fragen, in dieser Reihenfolge: Lässt es sich rückgängig machen? Was kostet es, es rückgängig zu machen? Wie viel Zeit hast du, bevor es zu spät ist? Ein nicht abgeschickter Entwurf ist umkehrbar und gratis. Eine an einen Kunden verschickte E-Mail ist halb umkehrbar und teuer: Sie wird mit einer weiteren E-Mail und einem unangenehmen Gespräch geradegezogen. Eine ausgeführte Überweisung ist nicht umkehrbar — sie ist eine zweite Überweisung in die Gegenrichtung, mit einem Anruf bei der Bank dazwischen und einer vernünftigen Wahrscheinlichkeit, dass sie nicht zurückkommt.
Dieses Kriterium wird nicht durch die anderen beiden aufgewogen. Wenn die Aktion sich nicht rückgängig machen lässt, ist es egal, ob die Korrekturquote bei 0,1 % auf hunderttausend Fälle liegt: Der Aufstieg ist nicht genehmigt. Präzision senkt die Häufigkeit des Fehlers; sie senkt nicht seine Kosten.
Was für immer auf Stufe 3 bleibt
Es gibt Aktionen, die nicht aufsteigen, auch wenn alle drei Kriterien makellos sind. Das ist kein Misstrauen gegenüber dem Modell: Es ist so, dass die Kosten des ersten Perzentils nicht das Modell trägt. Drei Familien:
- Geld, das rausgeht. Zahlungen, Überweisungen, Erstattungen, das Anlegen eines Lieferanten mit neuer Bankverbindung. Den Betrug mit der geänderten IBAN gibt es genau deshalb, weil dieser Schritt bei vielen zu früh automatisiert wurde.
- Menschen. Einstellung, Gehalt, Abmahnung, Beurteilung, jede Entscheidung, die das Arbeitsverhältnis von jemandem berührt. Hier zieht der Rechtsrahmen ohnehin eigene Grenzen, und in einem deutschen Unternehmen sitzt bei diesen Themen in der Regel auch die Mitbestimmung mit am Tisch.
- Zusagen gegenüber Dritten. Verträge, verbindliche Angebote, feste Preise, zugesagte Fristen und jede Kommunikation mit einer Behörde. Was mit deinem Namen aus der Tür geht, unterschreibt ein Mensch.
Diese Liste mit drei Familien ist unsere, nicht die des Regulierers. Aber der Regulierer zeigt in dieselbe Richtung: Die spanische Datenschutzbehörde AEPD — nicht deine Aufsichtsbehörde, aber die europäische Behörde mit der bisher klarsten Veröffentlichung zu Agenten — nennt das Vier-Augen-Prinzip, also die doppelte Prüfung durch zwei verschiedene Personen, und hält es für automatische Prozesse mit großen Auswirkungen auf die Rechte und Freiheiten von Personen angebracht. Dieses Kriterium ist weiter gefasst und abstrakter als unsere drei Familien; was wir hier tun, ist es auf die konkreten Aktionen herunterzuholen, bei denen sich in einem normalen Unternehmen der Fehler nicht mit einem Klick rückgängig machen lässt.
Was die Norm dich können lassen muss — und was sie dir nicht sagt
Was dich hier verbindlich trifft, ist die KI-Verordnung. Für Systeme mit hohem Risiko schreibt ihr Artikel 14 vor, dass sie so konzipiert werden, dass natürliche Personen sie während ihrer Verwendung wirksam beaufsichtigen können: die Fähigkeiten und Grenzen des Systems verstehen, Anomalien und unerwartetes Verhalten erkennen, eingreifen und es anhalten. Übersetzt auf die Leiter: Auf jeder Stufe, Stufe 5 eingeschlossen, muss es jemanden geben, der verstehen, eingreifen und stoppen kann. Eine Stopptaste, die nie jemand ausprobiert hat, erfüllt nicht Artikel 14; sie erfüllt das Sitzungsprotokoll.
Daneben steht das klarste veröffentlichte europäische Beispiel dafür, was eine Aufsichtsbehörde konkret erwartet. Im Februar 2026 veröffentlichte die spanische Datenschutzbehörde Leitlinien zu agentischer künstlicher Intelligenz aus Datenschutzsicht. In Deutschland binden sie dich nicht, aber ihre Maßnahmenliste liest sich wie ein Betriebshandbuch: solide Governance des Systems, aktive Beteiligung des Datenschutzbeauftragten, laufende Bewertung der Leistung des Agenten, Kompartimentierung des Gedächtnisses, Nachvollziehbarkeit des Datenlebenszyklus, wirksame menschliche Aufsicht, technische Isolationsumgebungen und strenge Kontrolle der Updates. Quelle: Leitlinien zu agentischer künstlicher Intelligenz, AEPD, Version 1.2, Februar 2026.
Und nun das, was keine von beiden leistet: dir die Leiter geben. Die Norm sagt dir, was du können musst und bei welchen Vorgängen zwei Augenpaare verlangt sind. Auf welche Stufe du welche Aufgabe stellst, ist deine Entscheidung, und genau deshalb muss sie irgendwo aufgeschrieben werden, statt im Kopf der Person zu bleiben, die das System gebaut hat. Die fünf Stufen dieses Leitfadens sind unsere redaktionelle Formulierung, keine amtliche Klassifikation: Nimm sie, ändere sie oder erfinde deine eigenen — aber schriftlich müssen sie existieren.
Die drei Fehler, die sich beim Aufsteigen wiederholen
Nach Kalender aufsteigen
„Wir sind seit einem Monat im Vorschlagsmodus, jetzt ist Aufstieg dran." Zeit ist kein Beleg für irgendetwas: Ein schwacher Monat sind vierzig Fälle, ein starker vierhundert. Was den Aufstieg genehmigt, ist das Volumen der gesehenen Fälle, nicht die verstrichenen Wochen.
„Nichts ist kaputtgegangen" mit „läuft gut" verwechseln
Das Ausbleiben von Beschwerden ist keine Kennzahl. Auf Stufe 2 und 3 fängt die Person den Fehler des Agenten stillschweigend ab, ein System kann also monatelang mittelmäßig sein, ohne dass es jemand ausspricht. Wenn du die Korrektur nicht misst, hast du keine Evidenz: Du hast die Abwesenheit von Lärm.
Den ganzen Agenten aufsteigen lassen
Das ist der teuerste und der häufigste Fehler. Ein Agent macht fünf Dinge, und nur zwei haben die Zahlen für den Aufstieg; man lässt den Agenten aufsteigen, und die anderen drei fahren gratis mit. Der Aufstieg wird pro Aktion genehmigt, pro Aktion protokolliert und pro Aktion zurückgenommen. Die Vorstellung von einem Agenten, der „jetzt autonom ist", ist dieselbe, die der Mythos des 100 % autonomen Agenten auseinandernimmt: In der Produktion gibt es keinen Schalter, es gibt eine Aufteilung.
Wie du das in eine Tabelle auf einer Seite schreibst
Dieser ganze Leitfaden passt in eine Tabelle, die einmal im Monat durchgesehen wird. Eine Zeile pro Aktion, nicht pro Agent:
| Aktion | Stufe heute | Was zum Aufstieg fehlt | Wer genehmigt |
|---|---|---|---|
| Eingehende E-Mail klassifizieren und weiterleiten | 4 — führt aus und meldet | Wöchentliche Stichprobe, 3 Monate ohne Abweichung nach Typ | Betriebsleitung |
| Die Antwort an den Kunden verfassen | 3 — führt aus, nach Bestätigung | Korrektur unter 8 % und nach Grund gestreut | Support-Leitung |
| Die Rechnung ausstellen | 3 — dauerhafte Obergrenze | Steigt nicht: Geld, das rausgeht | — |
| Felder aus einem Lieferschein ziehen | 5 — legt Rechenschaft ab | Schon oben; Ausnahmen prüfen | Verwaltungsleitung |
- Eine Zeile pro Aktion. Wenn eine Zeile „der Support-Agent" sagt, ist sie falsch geschrieben: Teile sie auf.
- Stufe von heute, mit Datum. Ohne Datum weißt du nicht, ob sie seit drei Wochen oder seit sieben Monaten dort steht.
- Was zum Aufstieg fehlt, als Zahl. „Wenn wir uns wohlfühlen" ist kein Kriterium; „Korrektur unter 8 % und gestreut" schon.
- Ein Name, der genehmigt. Eine Person, kein Gremium. Wenn niemand unterschreibt, steigt nichts auf, und das System bleibt für immer auf Stufe 2.
- Markiere die Zeilen mit dauerhafter Obergrenze. Geld, Menschen und Zusagen gegenüber Dritten tragen ein „steigt nicht" — damit es in einem Jahr niemand neu ausdiskutieren muss.
Wir bauen Agenten, die im Schatten anfangen und mit dieser Tabelle vor Augen aufsteigen — das tun die KI-Mitarbeiter, die wir zum Arbeiten ansetzen, auf der Infrastruktur, die es erlaubt, sie zu stoppen und zu prüfen, an dem Tag, an dem es nötig wird, und innerhalb der allgemeinen Logik, einen KI-Agenten zu bauen, der Produktion aushält. Wir verkaufen keine Autonomie. Wir berechnen, dass jede Stufe mit einer Zahl und einem Namen dahinter gestiegen wird.