„Läuft super." Es ist der meistgesagte Satz über ein KI-System und der am wenigsten haltbare. Jemand probierte es eine Weile, stellte ihm fünf Fragen, sie kamen gut heraus, und von da bis „es funktioniert" ist ein Vertrauenssprung, den Produktion teuer bezahlen lässt. Wie man ein KI-System im Unternehmen bewertet, ist nicht dieser Eindruck: es ist zu messen, gegen eine Basis, ob es richtig liegt —und wie sehr es danebenliegt, wenn es das tut.
Die These in einem Satz: ohne einen Bewertungssatz —im Handwerk Evals genannt— weißt du nicht, ob deine KI funktioniert, es sieht nur so aus. „Sieht aus, als würde es laufen" ist keine Kennzahl; es ist eine Anekdote mit Glück. Was ein System, das du einem Kunden vorsetzen kannst, von einem Experiment trennt, das betet, nicht zu scheitern, ist fast immer, ob es Evals gibt oder nicht.
Wie man ein KI-System im Unternehmen bewertet: warum „sieht aus, als würde es laufen" keine Kennzahl ist
Ein KI-System im Unternehmen zu bewerten heißt, zu vergleichen, was es antwortet, mit dem, was es antworten sollte, über eine Menge repräsentativer Fälle, und eine Zahl herauszuziehen. Konkret: Du sammelst einen Satz echter Eingaben —die Fragen, Dokumente oder Aufgaben, die tatsächlich ankommen—, definierst die richtige Antwort oder das Erfolgskriterium für jede, und führst diesen Satz jedes Mal aus, wenn du etwas änderst —den Prompt, das Modell, die Daten. Das Ergebnis ist eine Punktzahl, die sich bewegt: sie steigt, wenn du verbesserst, sinkt, wenn du unbemerkt etwas kaputt machst. Ohne diese Zahl ist jede Änderung blind und jedes „läuft" eine Meinung.
Was ein Eval ist (und wie es sich von „mal kurz ausprobieren" unterscheidet)
Ein System von Hand zu testen ist am ersten Tag nützlich und am zweiten irreführend. Ein Eval ist das Gegenteil dieses informellen Tests in drei Punkten:
- Es ist repräsentativ, nicht anekdotisch. Nicht die fünf Fragen, die dir einfallen; Dutzende oder Hunderte echter Fälle, inklusive der schrägen und derer, die schon einmal scheiterten.
- Es ist wiederholbar, nicht einmalig. Es läuft bei jeder Änderung gleich, also vergleicht es Äpfel mit Äpfeln: du weißt, ob die heutige Version besser oder schlechter ist als die von gestern, nicht ob sie sich „gut anfühlte".
- Es gibt eine Zahl, keinen Eindruck. Eine Trefferquote, eine Fehlerquote, eine Halluzinationsquote. Etwas, das du in ein Diagramm packen und jede Woche beobachten kannst.
Der Unterschied zwischen einem ernsthaften System und einer hübschen Demo ist fast immer, ob diese Zahl existiert. Das technische Wie des Aufbaus —der Satz, die Kriterien, die Schleife— zerlegen wir im Leitfaden zu wie man einen KI-Agenten trainiert: Daten, Evals und Governance; hier zählt, warum du ohne sie im Blindflug bist.
Was messen: die vier Dinge, die Produktion von Glaube trennen
Du musst nicht ab Minute eins alles messen. Vier Kennzahlen sagen dir mehr über dein System als die meisten Projekte, die seit Monaten laufen:
- Trefferquote. Von den Fällen im Satz, wie viele es nach deinem Kriterium richtig beantwortet. Es ist die Mutter-Kennzahl; hast du sie nicht, hast du nichts.
- Fehler- und Halluzinationsquote. Wie viel es richtig macht, reicht nicht: es zählt, wie viel es mit Selbstbewusstsein falsch macht. Ein System, das zu 90 % richtig liegt, aber die übrigen 10 % mit voller Überzeugung erfindet, kann schlechter sein als ein bescheideneres.
- Abdeckung der Grenzfälle. Welcher Anteil der schrägen Fälle —die, die schwache Systeme brechen— durch das Eval geht. Was nicht im Satz ist, wird nicht gemessen, und was nicht gemessen wird, verfällt still.
- Drift über die Zeit. Dasselbe Eval, jede Woche ausgeführt. Ein KI-System bleibt nicht stehen: die Eingabe ändert sich, Prompts verfallen, der Anbieter aktualisiert das Modell. Die Drift zeigt sich im Diagramm, bevor sie sich in der Kundenbeschwerde zeigt.
Der Fehler, ab Tag eins keine Evals zu haben
Der teuerste Fehlschlag ist nicht, schlechte Evals zu haben: es ist, gar keine zu haben. Ein System ohne Messung scheitert nicht am Starttag —es scheitert langsam, und niemand merkt es, bis der Fehler den Kunden erreicht. Ohne eine Basiszahl kannst du nicht beweisen, dass es besser wird, kannst die Ausgabe nicht vor der Führung verteidigen und kannst eine hilfreiche Änderung nicht von einer kaputten unterscheiden. Es ist tatsächlich eine der benannten Ursachen, warum KI-Automatisierungsprojekte scheitern: null Messung, null Möglichkeit zu wissen, ob das Projekt noch lebt oder ein Zombie ist, den niemand abzuschalten wagt.
Evals ist kein Projekt, es ist eine Gewohnheit
Die Falle ist, Evals als Phase zu behandeln („bauen wir am Ende"). Am Ende ist zu spät: das System ist bereits in Produktion und trifft Entscheidungen, die du nicht auditieren kannst. Günstig und vernünftig ist umgekehrt —mit einem kleinen Satz an Tag eins beginnen und ihn mit jedem schrägen Fall wachsen lassen, der auftaucht. Es ist kein Liefergegenstand, den man signiert und vergisst; es ist die Routine, die das System ehrlich hält.
Gut zu messen ist nicht glamourös, aber es ist das Einzige, das „wir glauben, es funktioniert" in „wir wissen, es funktioniert" verwandelt. Wenn du KI in deinem Unternehmen arbeiten lassen willst und willst, dass sie hält, ist das Fundament, kein Zierrat —und genau das bauen wir in der KI-Infrastruktur für Unternehmen: das System, seine Evals und die Schleife, die es über die Zeit gemessen hält. Wir lassen dir keine KI, die aussieht, als würde sie laufen; wir lassen dir eine, von der du beweisen kannst, dass sie läuft —oder bei der du genau weißt, wo sie scheitert.