Warum KI halluziniert (und was du vom Anbieter verlangen musst, damit es dir nicht um die Ohren fliegt)

Die These in einem Satz: KI halluziniert nicht aus Bosheit oder wegen eines Fabrikfehlers, den jemand zu patchen vergessen hat. Sie halluziniert, weil genau das ein Sprachmodell tut, wenn es etwas nicht weiß —die Lücke mit der plausibelsten Fortsetzung füllen—. Es als moralisches Versagen zu behandeln (« die KI lügt ») führt zur falschen Entscheidung: darauf zu warten, dass ein « ehrliches » Modell erscheint. Es wird nicht kommen. Was du tun kannst: die Halluzination mit Grounding, Zitaten und einem Menschen in der Schleife dort einzäunen, wo es zählt. Und vom Anbieter verlangen, dass er das gebaut hat, statt dir einen selbstsicheren Papagei zu verkaufen.

Warum KI im Unternehmen halluziniert: kein moralisches Versagen, sondern wie sie funktioniert

Ein Sprachmodell fragt keine Faktendatenbank ab und gibt dir den passenden Treffer zurück. Es sagt das nächste Wort voraus. Gegeben deine Frage, berechnet es, welcher Text als Nächstes am wahrscheinlichsten ist, und schreibt ihn, Token für Token. Es hat keinen inneren Schalter, der « das ist wahr » von « das klingt wahr » unterscheidet. Wenn die richtige Antwort in dem, was es gelernt hat, gut vertreten ist, deckt sich die wahrscheinlichste Fortsetzung mit dem Fakt. Wenn nicht —eine Angabe von dir, eine konkrete Zahl, etwas, das sich gestern geändert hat—, schweigt das Modell nicht: Es produziert die am besten klingende Zeichenkette, mit derselben Selbstsicherheit. Das ist Halluzination. Nicht das kaputte System, sondern das System, das wie entworfen funktioniert.

Das ist keine Contrarian-Meinung eines Beraters. OpenAI hat es in « Why Language Models Hallucinate » (September 2025) formalisiert: Modelle halluzinieren zu großen Teilen, weil Training und vor allem die Evaluationen das Raten höher belohnen als das Sagen von « ich weiß es nicht ». Ein Modell, das eine Antwort riskiert, liegt manchmal richtig und hebt seine Note; eines, das Zweifel zugibt, punktet nie. Also lernen sie, gute Prüflinge zu sein: Sie antworten immer, selbstsicher, auch ohne den Fakt (« Why Language Models Hallucinate », OpenAI, 2025). Auf dein Unternehmen übersetzt: Standardmäßig hast du ein Werkzeug, das darauf trainiert ist, nie zu schweigen —genau das Gegenteil von dem, was du willst, wenn die Antwort an einen Kunden geht—.

Halluzination wird nicht geheilt: sie wird eingezäunt

Die erste praktische Konsequenz: die Fantasie loslassen. Es gibt kein Modell, das « nicht mehr halluziniert ». Du kannst die Rate senken, du kannst die meisten seiner Aussagen überprüfbar machen, du kannst eine menschliche Bremse dort setzen, wo der Fehler teuer wird. Was du nicht kannst: die Version kaufen, die null garantiert. Wer sie dir verkauft, verkauft dir Rauch —oder versteht nicht, was er verkauft—. Die nützliche Frage ist nicht « halluziniert dieses Modell? » (alle tun es), sondern « was habt ihr rund um das Modell gebaut, damit es, wenn es halluziniert, nie in die Produktion gelangt? ».

Die drei Hebel, die die Halluzination wirklich senken

Halluzination im Unternehmen zu kontrollieren ist kein Prompt-Trick und keine geheime Einstellung. Es sind drei Stücke Ingenieurarbeit, und alle drei sind einforderbar.

1. Grounding / RAG: dass es mit DEINEN Dokumenten vor sich antwortet, nicht aus dem Gedächtnis. Statt das Modell mit dem antworten zu lassen, woran es sich aus dem Training « erinnert », sucht das System zuerst in deiner Dokumentation die relevanten Fragmente und legt sie ihm vor, damit es darüber antwortet. Der Fakt lebt außerhalb des Modells, in einer Basis, die du kontrollierst. Es beseitigt die Halluzination nicht, aber senkt sie dort, wo es am meisten wehtut: bei deinen Daten, die das Modell nie aus dem Gedächtnis wissen könnte. Wie du diese Schicht baust —welche Dokumente, wie sie zerlegt, wie sie abgerufen werden— erklären wir in wie du einen Agenten auf deiner eigenen Information trainierst.
2. Zitate: dass jede Aussage sagt, woher sie kommt. Ein seriöses System antwortet nicht nur; es zeigt die Quelle jeder Antwort, mit dem exakt genutzten Fragment. Das macht die Halluzination von unsichtbar zu prüfbar: Deckt das Zitat nicht, was es sagt, überspringst du. Und wenn das System nicht zitieren kann, woher eine Antwort kommt, geht diese Antwort nicht in Produktion. Dieselbe Logik, nach der eine KI wählt, wen sie beim Antworten zitiert, erzählen wir in welche Quellen die KI zitiert und warum: ohne rückverfolgbare Quelle kein Vertrauen.
3. Mensch in der Schleife, wo es zählt (nicht überall). Einen Menschen jede Antwort prüfen zu lassen, tötet die Ersparnis; keinen an keiner, ist Roulette. Das richtige Design setzt die menschliche Bremse nur dort, wo der Fehler teuer oder irreversibel ist —ein Betrag, eine rechtliche Verpflichtung, eine Nachricht an den Kunden— und lässt nur durch, was billig rückgängig zu machen ist. Halluzination hört auf, ein Geschäftsrisiko zu sein, wenn der einzige Punkt, an dem sie Schaden anrichten kann, einen Menschen davor hat.

Was du vom Anbieter verlangst (die Fragen, die sein Skript sprengen)

Hier ist das Warum von alldem: Du musst kein Ingenieur sein, um den, der die Kontrolle gebaut hat, von dem zu trennen, der dir Vertrauen verkauft. Du musst die Fragen stellen, die ein guter Anbieter ohne zu schwitzen beantwortet und ein schlechter ausweicht. Nimm sie mit zum nächsten Meeting.

1. « Woher kommen die Antworten: aus seinem Gedächtnis oder aus meinen Dokumenten? » Lautet die Antwort « aus dem Modell, es ist sehr gut », fehlt Grounding. Du willst hören « es ruft aus deiner Basis ab und antwortet darüber ».
2. « Kann ich die Quelle jeder Antwort sehen? » Ohne rückverfolgbares Zitat gibt es keine Möglichkeit zu prüfen, wann es halluziniert. Ein « vertrau mir, es scheitert fast nie » ist genau das, was du nicht akzeptieren kannst.
3. « Was passiert, wenn es die Antwort NICHT weiß? » Die richtige Antwort ist « es sagt, dass es nicht weiß, oder eskaliert an einen Menschen », nicht « es antwortet immer irgendetwas ». Ein System, das nie « ich weiß es nicht » sagt, ist zum Raten gebaut.
4. « Wo prüft ein Mensch und wo nicht? » Lautet die Antwort « nirgends, es ist völlig automatisch » für einen Prozess, der Geld oder Kunden berührt, lauf weg. Ist es « überall », spart es dir nichts.
5. « Wie messt ihr die Fehlerrate und wie oft? » Ohne eine gegen eine Basis gemessene Fehlerzahl ist « es funktioniert sehr gut » eine Meinung. Du willst Evals, keinen Applaus.

Ein Anbieter, der das baut, verkauft dir kein Modell; er verkauft dir ein System mit eingebauter Vertrauens-Klempnerei. Das ist der Unterschied zwischen einen Chatbot einschalten und Unternehmens-KI-Infrastruktur ausliefern, die zitiert, sich prüfen lässt und Berechtigungen respektiert —denn in einem Unternehmen ist ein erfundener Fakt, der beim Kunden ankommt, kein technischer Vorfall, sondern eine Rechnung—.

Der Anbieter, der dir « einen selbstsicheren Papagei » verkauft

Das zu vermeidende Muster ist leicht zu erkennen, wenn du es einmal gesehen hast: Es ist das, das Sprachfluss mit Verlässlichkeit verwechselt. Die Demo läuft perfekt —antwortet schnell, klingt überzeugend, zögert nie— und genau diese Sicherheit ist das Alarmsignal, nicht die Garantie. Ein Modell, das nie « ich weiß es nicht » sagt, ist nicht klüger: Es ist besser aufs Raten trainiert. Zeichen, dass man dir den Papagei verkauft:

• Verspricht, dass es « nicht halluziniert » oder « zu 100 % verlässlich » ist. Kein seriöses System verspricht das; es verspricht Kontrollen.
• Zeigt keine Quellen und kann nicht erklären, woher eine konkrete Antwort kam.
• Hat keinen Plan für das « ich weiß es nicht »: Das System antwortet immer irgendetwas, egal was.
• Misst Adoption und « Zufriedenheit », nie die Fehlerrate gegen eine Basis.
• Das Gespräch dreht sich immer um das Modell (« wir nutzen das stärkste ») und nie um die Architektur drumherum.

Nichts davon verlangt, dass du verstehst, wie ein Transformer funktioniert. Es verlangt, dass du KI wie jeden anderen Teil des Geschäfts behandelst, der sich rentieren soll: mit Quellen, einer gemessenen Fehlerrate und jemandem, der den Punkt bewacht, an dem das Versagen kostet. Wenn du willst, dass diese Klempnerei von dem gebaut und gehalten wird, der auch den Prozess darunter repariert, ist das genau das, was die Automatisierung von Abläufen mit KI tut: Sie lässt dir keinen eloquenten Papagei, sondern ein System, das weiß, wann es schweigen muss.