Lösung · AI Operations
Deine KI entscheidet jeden Tag. Kannst du in sechs Monaten eine konkrete Entscheidung erklären?
Ein Log ist keine Nachvollziehbarkeit. Aufzeichnungen, verteilt über Modell, Werkzeug und Zielsystem, lassen dich nicht rekonstruieren, warum dieser Antrag abgelehnt, dieser Preis angewandt oder dieser Fall von allein geschlossen wurde. Entscheidungs-Nachvollziehbarkeit ist die Funktion, die jede Entscheidung an ihre Eingabe, ihre Versionen, ihre Daten, ihre Richtlinie und ihren Freigeber bindet —und sie abrufbar hält, wenn jemand fragt. Wir bauen sie und betreiben sie.
Das Problem
Du hast Logs. Was du nicht hast, ist die Fähigkeit, eine konkrete Entscheidung durchgehend zu rekonstruieren.
- Die Information zu einer einzigen Entscheidung liegt an vier Stellen —Modellaufruf, Retrieval-Engine, ausführendes Werkzeug und Zielsystem— und keine teilt eine Kennung, also ist die Rekonstruktion stundenlange Handarbeit.
- Du weißt nicht, mit welcher Version entschieden wurde: Prompt, Modell, Geschäftsrichtlinie und Datensatz haben sich seither geändert, und niemand hat festgehalten, was damals galt.
- Die Aufzeichnung hält das Ergebnis fest, aber nicht das Warum: welche Dokumente abgerufen, welche Werkzeuge aufgerufen wurden, was sie zurückgaben und welche Regel am Ende zu genau dieser Entscheidung führte.
- Die menschliche Aufsicht hinterlässt keine nutzbare Spur: jemand hat freigegeben, aber es ist nicht dokumentiert, was am Bildschirm zu sehen war, was sich gegenüber dem Vorschlag änderte und auf welcher Grundlage entschieden wurde.
- Die Aufbewahrung ist ungeklärt: entweder wird alles für immer gespeichert —personenbezogene Daten inklusive— oder nach dreißig Tagen rotiert, und wenn die Beschwerde kommt, ist nichts mehr zu zeigen.
Was es kostet, alles zu lassen
Nachvollziehbarkeit ist kein optionaler Papierkram: für Hochrisikosysteme verlangt die EU-KI-Verordnung eine automatische Ereignisprotokollierung über den gesamten Lebenszyklus (Art. 12) und die Aufbewahrung dieser Protokolle für mindestens sechs Monate — beim Anbieter (Art. 19) wie beim Betreiber (Art. 26 Abs. 6). Aber der Regulierer kommt zuletzt. Vorher kommen der Kunde, der die Entscheidung bestreitet, der Vertriebler, der nicht versteht, warum sein Fall abgelehnt wurde, und das Team, das das System verbessern will und nicht kann — denn ohne Spur gibt es keine Diagnose: Modellfehler, schlechte Daten und schlecht geschriebene Richtlinie lassen sich nicht auseinanderhalten, und eine legitime Ausnahme auch nicht. Ohne Spur bleibt nur die Antwort „das hat die KI entschieden", und die trägt vor niemandem — weder vor einem Prüfer, noch vor einem Kunden, noch vor deinem eigenen Gremium.
Die Lösung
Wir bauen die durchgehende Entscheidungsspur —Kennung, Versionen, Kontext, Richtlinie und Aufsicht— und betreiben sie als kontinuierliche Funktion
- 1Wir beginnen damit zu definieren, was bei dir eine „Entscheidung" ist — der Schritt, den fast niemand geht: nicht alles, was ein Agent tut, verdient eine Akte. Wir markieren die folgenreichen Entscheidungen —die eine Person, eine Zahlung, einen Vertrag oder eine Zusage betreffen— und genau die werden detailliert nachvollziehbar gemacht; der Rest wird gestichprobt.
- 2Wir geben jedem Fall eine eindeutige Kennung und ziehen sie durch alles: Modellaufruf, Informationsabruf, jedes aufgerufene Werkzeug und die finale Buchung in ERP, CRM oder Ticketing. Ohne diesen Faden bleibt die Rekonstruktion Archäologie zwischen vier Systemen.
- 3Wir frieren den Entscheidungskontext ein: geltende Version von Modell, Prompt und Geschäftsrichtlinie, abgerufene Dokumente oder Datensätze, verwendete Parameter, aufgerufene Werkzeuge und deren Rückgaben. Die Spur hält nicht nur fest, was herauskam, sondern womit entschieden wurde.
- 4Wir sorgen dafür, dass die menschliche Aufsicht eine echte Spur hinterlässt: was dem Prüfer gezeigt wurde, was das System vorschlug, was die Person änderte und warum. Das ist der Unterschied zwischen „es gibt Aufsicht" und sie belegen zu können, und es verbindet sich mit menschlicher Aufsicht über KI im großen Maßstab.
- 5Wir legen Aufbewahrung und Zugriff mit Augenmaß fest: wie lange welcher Spurtyp bleibt, was maskiert oder durch eine Kennung ersetzt wird, damit keine personenbezogenen Daten ohne Rechtsgrundlage anwachsen, wer sie einsehen darf und mit welchem Zugriffsprotokoll. Alles für immer aufzuheben ist keine Compliance: es ist ein weiteres Risiko.
- 6Wir lassen es abrufbar und messbar. Eine Entscheidungsakte, die man per Fall-ID öffnet und in Minuten liest, kein Log-Dump; dazu ein Abdeckungs-Panel —welcher Anteil folgenreicher Entscheidungen eine vollständige Spur hat— und regelmäßige Übungen: wir ziehen eine Entscheidung zufällig und rekonstruieren sie, um die Lücken zu finden, bevor sie ein anderer findet.
Was sich ändert
Was du nicht mehr verlierst
Die bestrittene Entscheidung ist keine Archäologie mehr zwischen vier Systemen: sie öffnet sich per Fall-ID, mit Eingabe, Kontext, Versionen und Freigeber in einer einzigen Akte.
Mechanismus
Für Hochrisikosysteme verlangt die EU-KI-Verordnung automatische Ereignisprotokollierung (Art. 12) und eine Mindestaufbewahrung von sechs Monaten (Art. 19 für den Anbieter, Art. 26 Abs. 6 für den Betreiber). Die Spur ist kein offenes Projekt mehr, sondern eine mit Nachweisen abgedeckte Pflicht.
Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 12, 19 und 26 Abs. 6 — Geltungsbereich: Europäische Union
Die Verbesserung des Systems läuft nicht mehr blind: mit der Spur unterscheidet man einen Modellfehler von schlechten Daten oder einer schlecht geschriebenen Richtlinie — und genau das entscheidet, wo sich ein Eingriff lohnt.
Mechanismus
Was wir messen: Abdeckung folgenreicher Entscheidungen mit vollständiger Spur, Zeit für die durchgehende Rekonstruktion eines Falls, % der Rekonstruktionen, die an einer Lücke scheitern, sowie Alter und Volumen der aufbewahrten Spur je Typ.
Was wir messen
Datenblatt
- Wegfallende Arbeit
- eine KI-Entscheidung von Hand rekonstruieren, indem man Logs aus vier Systemen ohne gemeinsame Kennung durchsucht, ohne zu wissen, welche Modell-, Prompt- oder Richtlinienversion galt
- Übliche Einrichtung
- 4–8 Wochen
- Eingang
- eine folgenreiche Entscheidung deiner KI —eine Ablehnung, ein Preis, ein Fallabschluss, eine Aktion auf einem System— und alles, was sie umgab
- Ausgang
- eine per Fall-ID abrufbare Entscheidungsakte: Eingabe, abgerufener Kontext, aufgerufene Werkzeuge, Versionen, angewandte Richtlinie, menschliche Aufsicht und Ergebnis
- Kompatibel mit
- Los frameworks de agentes que ya uses (LangChain, LlamaIndex, SDKs de proveedor, desarrollo propio)OpenTelemetry y tu plataforma de observabilidad o de trazas de LLMTu ERP / CRM / ticketing como sistema de destinoTu gestor de versiones de prompts, políticas y modelos
- Kann sich verbinden mit
- Dein KI-Verordnungs-Compliance-Programm und deine PrüfnachweiseDeine Aufbewahrungs- und DatenschutzrichtlinieDein Kreislauf aus menschlicher Aufsicht und FreigabenDein Vorfalls- und Verbesserungsprozess
- Was wir messen
- Abdeckung folgenreicher Entscheidungen mit vollständiger SpurZeit für die durchgehende Rekonstruktion eines Falls% der Rekonstruktionen, die an einer Lücke in der Spur scheiternAlter und Volumen der aufbewahrten Spur je Entscheidungstyp
- Geeignet für
- Unternehmen, deren KI oder Agenten in Produktion folgenreiche Entscheidungen treffen —Kredit, Preise, Personal, Service, Betrieb— und die sie gegenüber Kunde, Prüfer oder Regulierer erklären müssen
- Nicht geeignet für
- wer nur Schreibassistenten oder interne Pilotprojekte ohne Wirkung auf Dritte betreibt: da reicht operative Observability; und es ersetzt nicht die juristische Bewertung, was vertretbar ist — die bleibt bei deiner Rechtsberatung
Häufig gestellte Fragen
Nein, und die beiden zu verwechseln ist der teure Fehler. KI in Produktion überwachen beantwortet eine aggregierte Frage in der Gegenwart: läuft das System heute gut, was kostet es, wo degradiert es? Nachvollziehbarkeit beantwortet eine einzelne Frage in der Vergangenheit: warum kam diese Entscheidung so heraus, die vom 14. März, die dieser Kunde bestreitet? Die eine schaut auf die Kurve; die andere öffnet die Akte. Du brauchst beides, aber was dich in einer Beschwerde oder einer Prüfung rettet, ist die zweite — und genau die hat fast niemand gebaut, weil sie verlangt zu entscheiden, was gespeichert wird, unter welcher Kennung und wie lange.
Die KI-Verordnung im Betrieb erfüllen ist der Rahmen: welche Systeme du hast, in welche Risikoklasse sie fallen, welche Dokumentation und Aufsicht jedes verlangt. Nachvollziehbarkeit ist einer der Mechanismen, die dieser Rahmen voraussetzt und die fast nie gebaut sind: die automatische Ereignisprotokollierung aus Artikel 12 und ihre Mindestaufbewahrung von sechs Monaten. Du kannst ein aktuelles Compliance-Programm haben und trotzdem keine konkrete Entscheidung rekonstruieren können — und genau das wird von dir verlangt werden. Beides passt gut zusammen, und wenn das Programm schon läuft, ist das hier das fehlende Teil.
Doch, wenn du es plump machst — deshalb ist die Aufbewahrung Teil des Entwurfs und keine spätere Justierung. Wir zeichnen nur folgenreiche Entscheidungen detailliert auf und stichproben den Rest; wir ersetzen personenbezogene Daten durch Kennungen, wo die Spur rekonstruierbar bleibt; wir setzen Fristen je Entscheidungstyp —und decken das jeweils geltende gesetzliche Minimum ab, ohne daraus „für immer" zu machen—; und wir protokollieren, wer eine Akte öffnet. Alles unbegrenzt aufzuheben ist nicht bessere Compliance: es ist angehäuftes Risiko und angehäufte Rechnung. Die Regel lautet: die Spur muss zum Rekonstruieren reichen, und nicht mehr.
Bauen wir es in deinem Betrieb?
Du hast das Problem benannt. Wir liefern die Lösung und lassen sie gemessen laufen.