Die These in einem Satz: An dem Tag, an dem ein Agent etwas tut, das erklärt werden muss, fragt dich niemand nach seiner Trefferquote. Man fragt dich, was in diesem einen Fall passiert ist — und du hast genau das, was du sechs Monate vorher zu speichern beschlossen hast.
Die Szene wiederholt sich. Ein Kunde reklamiert, ein Prüfer fragt, ein Chef will es wissen. Jemand öffnet das Dashboard des Agenten und zeigt 96 % Trefferquote. Und die Antwort von gegenüber ist immer dieselbe: »sehr schön, aber ich frage nach dem Fall von Marta, dem vom 14. März«. Die 96 % beantworten diese Frage nicht. Sie beantworten sie nicht, weil sie etwas anderes messen.
Diese Lücke hat einen Namen, und sie ist kein technischer Fehler: Es wurde eine Schicht gekauft in dem Glauben, es seien drei.
Leistung und prüfbare Nachweise sind nicht dieselbe Frage
Leistung ist eine aggregierte Frage in der Gegenwart: Läuft das System gut, was kostet es, wo verschlechtert es sich? Man beantwortet sie mit einer Kurve, und sie hilft beim Betrieb. Der prüfbare Nachweis ist eine einzelne Frage in der Vergangenheit: Warum ist diese Entscheidung so ausgefallen, bei diesem Kunden, an diesem Tag? Man beantwortet sie mit einer Akte, und sie hilft bei der Verteidigung.
Zwei verschiedene Fragen mit zwei verschiedenen Antworten — und die Falle ist, dass die erste sichtbar ist und die zweite nicht. Ein Dashboard zeigt man in der Demo; eine rekonstruierte Akte taucht erst auf, wenn jemand sie braucht, und das ist immer zu spät, um sie noch zu bauen.
Die drei Schichten, die der Markt als eine verkauft
Wenn ein Anbieter sagt »unsere Agenten sind prüfbar«, kann er drei Dinge meinen, die einander nicht ersetzen. Trenne sie, bevor du Angebote vergleichst, denn fast alle decken eine gut ab und die anderen beiden nebenbei.
| Schicht | Wann sie wirkt | Welche Frage sie beantwortet | Was sie NICHT tut |
|---|---|---|---|
| Leitplanken | Vorher: präventiv | Darf er das? | Hinterlässt keine Spur, warum das Geschehene geschah |
| Observability | Währenddessen: operativ, aggregiert | Läuft es heute gut? | Rekonstruiert keinen einzelnen Fall |
| Prüfspur | Danach: beweisend, einzeln | Warum ist DIESER Fall so ausgefallen? | Verhindert nichts; sie beweist nur |
Die erste Schicht ist eine Entwurfsentscheidung: Was der Agent anfassen darf und wie weit er allein geht. Sie wird geklärt, bevor irgendetwas verbunden wird — ausgeführt in welche Berechtigungen ein KI-Agent bekommen soll und in den Autonomiestufen eines Agenten — und ihr Wert ist, dass bestimmte Dinge gar nicht erst passieren. Aber eine Leitplanke, die funktioniert, ist unsichtbar: Sie erzeugt keinen Beweis, sie erzeugt die Abwesenheit eines Vorfalls.
Die zweite kaufen fast alle zuerst, und zu Recht: Ohne sie bricht ein Agent lautlos. Das ist KI in Produktion überwachen, und sie antwortet aggregiert. Ihre Einheit ist die Kennzahl, nicht der Fall.
Die dritte hat fast niemand aufgebaut, weil sie unbequeme Entscheidungen verlangt: was gespeichert wird, unter welcher Kennung und wie lange. Das ist die Nachvollziehbarkeit von KI-Entscheidungen, und sie ist die einzige, die dir am Tag der Reklamation hilft. Alle drei sind nötig. Aber nur eine beantwortet die Frage, die dir gestellt wird.
Warum dein Log kein Beweis ist
Jetzt kommt der berechtigte Einwand: »wir protokollieren alles«. Das stimmt fast immer und nützt fast nie. Ein Betriebsprotokoll und eine Beweisspur trennen zwei Eigenschaften, die nicht technisch, sondern Governance-Eigenschaften sind.
- Integrität. Eine Beweisspur muss zeigen können, dass sie seit dem Schreiben nicht angefasst wurde. Wenn jeder mit Systemzugang sie ohne Spur ändern oder löschen kann, beweist sie nichts: Sie ist die Version einer Partei.
- Eine bewusst gewählte Aufbewahrungsfrist. Ein Log rotiert. Es wird nach dreißig Tagen gelöscht, weil es Platz braucht oder weil niemand daran gedacht hat. Eine Spur hat eine absichtlich gewählte, aufgeschriebene Frist, die zu der Zeit passt, die Reklamationen in deinem Geschäft real brauchen — und das sind selten dreißig Tage.
Und hier der Konflikt, den man vorwegnehmen sollte: Länger aufbewahren zieht in die Gegenrichtung von Datenminimierung. Das löst kein Werkzeug, das löst eine geschriebene Richtlinie je Systemtyp: was vollständig gespeichert wird, was pseudonymisiert, was nur als Referenz. Diese Entscheidung gehört dem Geschäft und der Rechtsabteilung, nicht dem Anbieter. Hat sie niemand getroffen, gilt die Richtlinie dessen, der die Standardrotation konfiguriert hat.
Was die europäische Regelung schon verlangt — und von wem
Hier lohnt Genauigkeit, weil in beide Richtungen übertrieben wird. Die europäische KI-Verordnung verlangt nicht, alles zu protokollieren, was irgendeine KI tut. Für Systeme mit hohem Risiko verlangt sie es sehr wohl, und dort läuft die Pflicht über zwei Stellen.
Artikel 12 verlangt, dass das System die automatische Aufzeichnung von Ereignissen über seine Lebensdauer technisch ermöglicht, mit Protokollfunktionen, die dazu dienen, Risikosituationen zu erkennen und den Betrieb zu überwachen. Das trifft den Hersteller.
Der Teil, den fast niemand gelesen hat, ist Artikel 26 Absatz 6, und der trifft den Betreiber: Wer ein Hochrisiko-System einsetzt, muss die automatisch erzeugten Protokolle aufbewahren, soweit sie unter seiner Kontrolle stehen, für einen der Zweckbestimmung angemessenen Zeitraum und mindestens sechs Monate, sofern nicht anderes Unionsrecht oder nationales Recht etwas anderes vorsieht, insbesondere das Datenschutzrecht. Quelle: Article 26: Obligations of Deployers of High-Risk AI Systems, EU Artificial Intelligence Act, abgerufen am 11. September 2026.
Zwei Einschränkungen, um nicht zu überziehen. Erstens: Das Anwendungsdatum dieser Pflichten hat sich verschoben; dieselbe Quelle nennt für Artikel 26 den 2. Dezember 2027 für Hochrisiko-Systeme nach Anhang III und den 2. August 2028 für die nach Anhang I, gemäß Artikel 113. Zweitens, und wichtiger: Wenn dein Agent kein Hochrisiko-System ist, bindet dich das nicht. Aber die Formulierung »soweit sie unter seiner Kontrolle stehen« zeigt schon, wohin der Branchenstandard läuft — und ein großer Kunde oder ein Versicherer kann es lange vor einer Behörde von dir verlangen.
Drei Dinge, die du vor der Unterschrift schriftlich verlangst
Es braucht keinen zwanzigseitigen Anhang. Drei schriftlich beantwortete Fragen sagen dir, ob du Nachweise hast oder ein Dashboard.
- Welche Felder genau aufgezeichnet werden. Nicht »wir protokollieren die Aktivität«. Die Liste: durchgängige Fallkennung, Version des Modells und der geltenden Anweisungen, was abgerufen wurde, welche Werkzeuge gerufen wurden, welche Richtlinie angewandt wurde und wer geprüft hat. Ist die Antwort ein Adjektiv statt einer Liste, gibt es keine Spur.
- Wo sie liegen und wie lange. In welchem System, unter wessen Kontrolle, mit welcher Aufbewahrungsfrist und was am Ende passiert. Eine Standardfrist, die niemand gewählt hat, ist eine Entscheidung durch Unterlassen — und du entdeckst sie an dem Tag, an dem du sie brauchst.
- Wer sie exportieren darf und in welchem Format. Das wird am häufigsten vergessen und kommt am teuersten: Nimmst du die Spur mit, wenn du den Anbieter wechselst, oder bleibt sie auf seiner Plattform? Steht es nicht geschrieben, geh davon aus, dass sie bleibt.
Keine der drei ist eine schwierige technische Frage. Es sind Fragen, die ein seriöser Anbieter in einer Mail beantwortet — und die, die in einer Mail nicht beantwortet werden, sagen dir mehr als die, die es werden.
Was du diese Woche tun kannst
Such dir einen Agenten, der schon arbeitet, und mach den Sechs-Monats-Test mit einem echten Fall. Mehr braucht es nicht: In einer halben Stunde weißt du, in welcher der drei Schichten du stehst und welche dir fehlt. Kannst du den Fall nicht rekonstruieren, ist die Liste oben dein offenes Gespräch mit dem, der ihn dir verkauft hat.
Und wenn du beim Rekonstruieren merkst, dass du nicht einmal weißt, welche Version der Anweisungen an dem Tag lief, ist das ein früheres Problem und wird zuerst behoben: die Anweisungen eines KI-Agenten sind kein Prompt, sondern ein Dokument mit Verantwortlichem, Version und Datum. Ohne diese notierte Version lässt dich die vollständigste Spur der Welt auf halbem Weg stehen.
Die ehrliche Zusammenfassung: Die Leistung sagt dir, ob sich das System lohnt; der prüfbare Nachweis sagt dir, ob du vor jemandem dafür geradestehen kannst. Das Erste kauft man leicht. Das Zweite wird vorher entschieden und lässt sich nicht rückwärts bauen.