Warum dein Agent „sich an nichts erinnert", obwohl die ganze Doku geladen ist
Es ist die Beschwerde Nummer eins in der zweiten Woche: Du hast das ganze Handbuch hochgeladen, die Richtlinien, die Ticket-Historie — und der Agent fragt weiter nach Dingen, die du ihm gestern schon erzählt hast. Der Reflexschluss — „ihm fehlt Gedächtnis" — ist richtig und hilft kein bisschen, denn Gedächtnis ist das Wort, mit dem der Markt drei verschiedene Dinge bezeichnet: Sie liegen an verschiedenen Orten, kosten Verschiedenes und gehen auf verschiedene Weise kaputt.
Der teuerste Irrtum der Branche ist dieser: Gedächtnis und RAG sind nicht dasselbe. RAG heißt, dass der Agent in deiner Dokumentation suchen kann. Gedächtnis heißt, dass der Agent weiß, wer du bist, wenn du das nächste Mal mit ihm sprichst. Du kannst ein tadelloses RAG haben — es holt den exakten Absatz aus dem Handbuch in 200 Millisekunden — und trotzdem einen Agenten, der sich nicht merkt, dass dieser Kunde sich schon zweimal über dieselbe Bestellung beschwert hat. Das sind verschiedene Probleme mit verschiedenen Lösungen, und das zweite mit dem Werkzeug für das erste bauen zu wollen ist genau der Grund, warum die Hälfte der Projekte an dieser Stelle hängen bleibt.
Die drei Dinge, die du in denselben Topf wirfst
Bevor du irgendetwas kaufst: trennen. Ein Agent in Produktion braucht normalerweise alle drei, aber sie werden getrennt beauftragt, getrennt bezahlt und getrennt geprüft.
1. Der Kontext des laufenden Gesprächs (Kurzzeitgedächtnis)
Das ist, was das Modell gerade vor sich hat: alles, was in diesem Thread bisher gesagt wurde. Keine Datenbank, sondern das Kontextfenster — der Arbeitsplatz des Modells — und es leert sich, wenn das Gespräch endet. Gratis in dem Sinn, dass nichts gebaut werden muss, und sauteuer in dem Sinn, dass pro Token und pro Zug bezahlt wird: Je länger der Thread, desto teurer jede weitere Nachricht. Wenn dir jemand erzählt, sein Agent „merke sich alles innerhalb des Gesprächs", beschreibt er dir das Standardverhalten, keine Fähigkeit, die er gebaut hat.
Das Symptom, dass dir das hier fehlt: Der Agent widerspricht sich im selben Thread selbst oder verliert in langen Gesprächen den Faden. Repariert wird das mit Kontextverwaltung — alte Züge zusammenfassen —, nicht mit einer Vektordatenbank.
2. Das abfragbare Wissen (das hier ist RAG)
Deine Dokumente, so indexiert, dass der Agent das relevante Fragment findet und mit ihm vor Augen antwortet. Handbücher, Richtlinien, Verträge, Verfahren, Katalog, gelöste Tickets. Das ist Wissen der Organisation, für alle gleich, und sein Problem ist nicht das Erinnern: Es ist das Finden und das Aktuellbleiben. Es lebt in einem Index — vektoriell, lexikalisch oder beides — und seine Hauptkosten sind nicht die Speicherung, sondern die Pflege: Ein Index, in dem das aufgehobene Verfahren noch liegt, konkurriert lautlos mit dem gültigen.
Das Symptom, dass dir das hier fehlt: Der Agent antwortet selbstbewusst Dinge, die nirgendwo stehen, oder zitiert das falsche Dokument. Repariert wird das mit Retrieval, nicht mit Gedächtnis. Wie man es baut und wie man es bewertet, steht in wie man einen KI-Agenten trainiert; es lebendig zu halten ist eine Daueraufgabe mit eigenem Namen, das KI-Wissen aktuell halten.
3. Die Fakten, die er zwischen den Sitzungen behalten muss (Langzeitgedächtnis)
Hier liegt die Schicht, die fast niemand baut und die dir tatsächlich gefehlt hat. Das ist keine Dokumentation: Das sind konkrete Fakten über eine Person, ein Konto oder einen Fall, im Arbeiten gelernt, die das Ende des Gesprächs überleben müssen. „Dieser Kunde lässt auf eine andere Gesellschaft fakturieren." „Dieser Lieferant akzeptiert keine Lieferscheine per Mail." „Dieser Nutzer hat diesen Vorschlag im März schon abgelehnt und gesagt, warum."
Von den anderen beiden unterscheidet es sich durch drei Eigenschaften: Es ist spezifisch für eine Entität (es gilt nicht für alle), es schreibt sich selbst im laufenden Betrieb (niemand lädt dafür ein Dokument hoch), und es verfällt (eine Präferenz ändert sich, eine Angabe hört auf zu stimmen). Diese dritte Eigenschaft macht aus dem Langzeitgedächtnis ein Governance-Problem und nicht nur ein Engineering-Problem, und um sie geht es in der zweiten Hälfte dieses Leitfadens.
Wo jede von ihnen lebt und was sie kostet
| Schicht | Wo sie lebt | Wer sie schreibt | Was sie kaputt macht | Dominante Kosten |
|---|---|---|---|---|
| Kontext des Gesprächs | Das Kontextfenster des Modells | Das Gespräch selbst | Lange Threads: läuft über oder wird teuer | Token pro Zug |
| Abfragbares Wissen (RAG) | Index über deine Dokumente | Du, beim Veröffentlichen des Dokuments | Veraltetes und Doppeltes ohne Kennzeichnung | Pflege des Index |
| Langzeitgedächtnis | Eigener Speicher, außerhalb des Modells | Der Agent, im laufenden Betrieb | Verfallene Fakten, die niemand zurückzieht | Governance: Durchsicht und Löschung |
Achte auf die rechte Spalte, denn sie taucht im Angebot nie auf. Die ersten beiden Schichten haben Kosten, die man auf einer Rechnung sieht. Die dritte hat Kosten, die man in einer Besprechung sieht: Jemand muss entscheiden, was behalten wird, wie lange und wer es löschen darf. Gibt es diesen Jemand nicht, ist das Langzeitgedächtnis keine Fähigkeit, sondern eine Verbindlichkeit, die von allein wächst.
Der Dreißig-Sekunden-Test, um herauszufinden, welche dir fehlt
Nimm den konkreten Fall, der dich auf den Gedanken gebracht hat, dir fehle Gedächtnis, und stell ihm drei Fragen. Die Antwort sagt dir, was du kaufen musst, und verhindert, dass du eine Vektordatenbank bezahlst, um eine Gesprächszusammenfassung zu reparieren.
- Steht die Angabe, die du vermisst, in irgendeinem deiner Dokumente? Wenn ja, ist es kein Gedächtnis, sondern Retrieval. Dein Problem liegt im Index oder im Dokument, nicht im Agenten.
- Gilt die Angabe für alle deine Kunden oder nur für diesen einen? Gilt sie für alle, ist es Wissen. Gilt sie für diesen Kunden und für sonst niemanden, ist es Langzeitgedächtnis.
- Wäre die Angabe in einem Jahr womöglich nicht mehr wahr? Wenn ja, brauchst du die Schicht fürs Vergessen, bevor du die fürs Erinnern brauchst. Speichern ohne Verfallsplan heißt, künftige Fehler mit Aktivierungsdatum anzuhäufen.
Vergessen ist schwerer als Erinnern
Das ist der Teil, den fast niemand aufschreibt, und der am teuersten kommt. Gedächtnis zu bauen ist ein gelöstes Problem: Du speicherst den Fakt und holst ihn hervor, wenn er dran ist. Ihn zurückzunehmen ist dagegen nicht eine Operation, sondern mehrere — und es reicht, dass eine davon scheitert, damit die Angabe weiterlebt.
Das beste öffentliche Beispiel dafür, wie verheddert das ist, liefert die eigene Dokumentation von OpenAI zu ChatGPT. Das Hilfecenter schreibt wörtlich, dass du, um etwas vollständig zu löschen, das ChatGPT über dich wissen könnte, „jede Quelle löschen musst, in der es auftaucht, einschließlich vergangener Chats, archivierter Chats, Dateien und der Gedächtniszusammenfassung, und die verbundenen Apps trennen musst, die diese Information enthalten könnten". Dazu kommen zwei Hinweise, die für jeden, der so etwas im eigenen Unternehmen entwirft, Gold wert sind: Einen Chat zu löschen löscht nicht die Erinnerungen, die aus ihm entstanden sind; und wenn du das Gedächtnis abschaltest und später wieder einschaltest, kann das System aus den Chats, die noch in deinem Verlauf liegen, erneut Erinnerungen anlegen. Quelle: Memory FAQ, OpenAI Help Center, abgerufen am 10. September 2026.
Das ist kein Versäumnis von OpenAI: Das ist die Form des Problems. Sobald ein Fakt an mehr als einen Ort kopiert wird — Gedächtnisspeicher, Index, Gesprächsprotokoll, Zielsystem, in das der Agent geschrieben hat —, ist Löschen kein Knopf mehr, sondern ein Verfahren mit einer Liste von Orten. Hat niemand diese Liste geschrieben, kannst du nicht versprechen, dass du irgendetwas löschst.
Was dich zwingt, löschen zu können (und was dir niemand sagt)
Drei Anker, und man sollte sie nicht vermischen. Der erste: Das Recht auf Löschung nach Artikel 17 DSGVO greift bei den personenbezogenen Daten, die du verarbeitest, und das Gedächtnis eines Agenten enthält sie per Design — Namen, Präferenzen, Vorfälle, Entscheidungen. In Deutschland gilt das unmittelbar, ohne Umweg über ein nationales Gesetz. Der zweite: Der Europäische Datenschutzausschuss legt in seiner Stellungnahme 28/2024 (17. Dezember 2024) eine hohe Latte dafür an, wann ein mit personenbezogenen Daten trainiertes Modell als anonym gelten darf, und erinnert daran, dass Aufsichtsbehörden bei einer unrechtmäßigen Verarbeitung Abhilfemaßnahmen anordnen können, die bis zur Löschung des Datensatzes reichen. Diese Stellungnahme spricht vom Modell; dein Gedächtnisspeicher ist ein viel einfacherer und viel eindeutiger identifizierbarer Fall, also ist hier klar, was dort noch strittig ist.
Der dritte ist der operativste, und er kommt nicht aus Deutschland: Die spanische Datenschutzbehörde AEPD nennt in ihren Leitlinien zu agentischer künstlicher Intelligenz unter den Maßnahmen ausdrücklich die Kompartimentierung des Gedächtnisses und die Nachvollziehbarkeit des Datenlebenszyklus. Sie ist nicht deine Aufsichtsbehörde und ihre Leitlinien binden dich hier nicht, aber sie sind das bislang klarste veröffentlichte europäische Beispiel dafür, was eine Behörde konkret erwartet. Kompartimentieren heißt: Das Gedächtnis eines Kunden sickert nicht in das Gespräch eines anderen, und es lässt sich in Teilen markieren und zurückziehen. Das ist der Unterschied zwischen einem Lager mit Etiketten und einer unaufgeräumten Schublade. Quelle: Leitlinien zu agentischer künstlicher Intelligenz, AEPD, Version 1.2, Februar 2026.
Was dir keine der drei sagt: wie lange dein Agent sich merken soll, dass dieser Kunde lieber nachmittags angerufen wird. Das steht in keiner Norm. Das ist deine Richtlinie, und wenn du sie nicht aufschreibst, lautet die Standardrichtlinie „für immer" — die schlechteste von allen.
Das Blatt auf einer Seite: was er sich merkt, wo und bis wann
Alles Vorherige passt in eine Tabelle, die einmal im Quartal durchgesehen wird. Mehr braucht es nicht, und ohne sie ist kein Gespräch mit deinem Datenschutzbeauftragten möglich.
| Was gemerkt wird | Schicht | Verfall | Wo es gelöscht werden muss | Wer löschen darf |
|---|---|---|---|---|
| Kontaktpräferenz des Kunden | Langzeitgedächtnis | 24 Monate ohne Aktivität | Speicher + Kopie im CRM | Kundenverantwortung |
| Offener Vorfall und seine Historie | Langzeitgedächtnis | Abschluss + gesetzliche Aufbewahrung | Speicher + Ticket + Log | Support-Leitung |
| Gültiges internes Verfahren | RAG | Beim Veröffentlichen der neuen Version | Index (neu indexieren) | Dokumenteneigentümer |
| Zusammenfassung des laufenden Threads | Kontext | Ende des Gesprächs | Bleibt nicht bestehen | — |
- Eine Zeile pro Datenart, nicht pro System. Wenn eine Zeile „Kundendaten" sagt, ist sie falsch geschrieben: Teile sie auf, bis jede Zeile einen eigenen Verfall hat.
- Der Verfall, in Einheiten. „Wenn es nicht mehr gebraucht wird" ist kein Verfall. „24 Monate ohne Aktivität" schon, weil ein Skript das anwenden kann.
- Die Spalte mit dem Wo-löschen ist die wichtige. Das ist die Liste von Orten, von der wir gesprochen haben: Hat sie nur einen Eintrag, ist sie wahrscheinlich unvollständig.
- Ein Name, der löschen darf. Eine Person mit einem echten Knopf, mindestens einmal erprobt. Ein Löschverfahren, das nie jemand ausgeführt hat, ist kein Verfahren.
- Quartalsweise Durchsicht mit der Tabelle vor Augen. Was sich ungeprüft ansammelt, ist kein Gedächtnis mehr, sondern Sediment.
Wir bauen die Gedächtnisschicht mit dieser Tabelle geschrieben, bevor die erste Zeile Code entsteht: Sie ist Teil der KI-Infrastruktur, auf der die KI-Mitarbeiter laufen, die wir zum Arbeiten ansetzen, innerhalb der allgemeinen Logik, einen KI-Agenten zu bauen, der Produktion aushält. Wir verkaufen kein unendliches Gedächtnis. Wir berechnen, dass dein Agent sich merkt, was er soll, so lange er soll — und dass sich an dem Tag, an dem gelöscht werden muss, wirklich löschen lässt.