Lösung · AI Operations

Die Qualität deiner KI-Agenten bewerten: die Funktion, die sie in Produktion misst, überwacht und korrigiert — bevor der Kunde den Fehler spürt

Ein Agent, der die Demo bestanden hat, ist kein Agent, der in Produktion funktioniert: Er verfällt von selbst, wenn Modell, Prompt oder Welt sich ändern, und niemand merkt es, bis ein Kunde sich beschwert. Seine Qualität zu bewerten ist kein Test, den man einmal macht; es ist eine Funktion, die läuft — stichproben, gegen ein Kriterium bewerten, Regressionen erkennen und korrigieren — damit Qualität kein Eindruck mehr ist, sondern eine Zahl, die du überwachst.

Bau es in meinem Betrieb Sehen, wie es läuft

Das Problem

Die Qualität eines Agenten misst man nicht, wenn er die Demo besteht. Man misst sie, wenn er in Produktion zögert — und heute schaut niemand hin.

Der Agent hat die Demo bestanden und wurde durchgewunken; seither weiß niemand, ob er noch gut antwortet, weil es keine Möglichkeit gibt, es zu messen, außer zu warten, bis sich jemand beschwert.
Ihr habt das Modell gewechselt, einen Prompt angepasst oder der Anbieter hat von selbst aktualisiert, und das Verhalten hat sich geändert, ohne dass jemand es mit vorher verglichen hätte: Die Regression wird bei einem Kunden entdeckt, nicht in einem Test.
Das einzige Qualitätssignal sind Beschwerden, die spät kommen und nur von der Spitze des Eisbergs; die stillen Fehler — die plausible, aber falsche Antwort — sieht niemand.
Wenn zu entscheiden ist, ob eine Änderung live geht, gibt es keine Zahl, die es stützt: Es geht nach Bauchgefühl raus und man betet, weil es kein Kriterium gibt, gegen das man vor dem Loslassen bewertet.

Was es kostet, alles zu lassen

Ein Agent ohne Evals ist kein System, sondern eine Wette, die von selbst verfällt. Der Preis ist nicht nur der einzelne Fehler: Es ist, nicht zu wissen, ob dein Agent besser oder schlechter ist als letzte Woche, und ihn daher weder verbessern noch verteidigen zu können, dass er funktioniert. Wenn die einzige Metrik die Beschwerde ist, zahlt jede Regression ein Kunde vor einem Dashboard, das Vertrauen in den Agenten sinkt und die Standardreaktion ist die schlimmste — ihn abschalten oder unter manueller Aufsicht dahinsiechen lassen, was heißt, die Investition wegzuwerfen. Und da sich Modell, Prompt und Welt alle paar Wochen ändern, sagt eine vor drei Monaten validierte Qualität nichts über die heutige.

Die Lösung

Wir bauen und betreiben die Bewertungsfunktion deiner Agenten — kontinuierliche Evals: stichproben, bewerten, Regressionen erkennen, Gate und korrigieren — damit Qualität kein Eindruck mehr ist, sondern eine Zahl, die du überwachst und verteidigst

1Wir definieren das Kriterium: was eine gute Antwort für deinen Fall ist — Genauigkeit, Ton, Sicherheit, Format, Richtlinien — übersetzt in eine Rubrik und einen Satz Testfälle mit den richtigen Antworten, deinen, nicht generischen.
2Wir stichproben und bewerten kontinuierlich: Wir nehmen echte Produktionsgespräche, bewerten sie gegen die Rubrik — mit automatischen Richtern und menschlicher Prüfung, wo es zählt — und machen Qualität zu einer über die Zeit verfolgten Metrik, nicht zu einer Anekdote.
3Wir erkennen Regressionen und Drift: Jede Modell-, Prompt- oder Tool-Änderung wird gegen das Kriterium bewertet, BEVOR sie live geht (Gate), und in Produktion schlagen Alarme an, wenn die Qualität fällt, auch wenn sich noch niemand beschwert hat.
4Wir schließen den Kreis: Jeder gefundene Fehler speist Korrekturmaßnahmen — Prompt-Anpassung, neues Beispiel, Leitplanke — und geht zurück in den Testsatz, so verbessert sich der Agent, statt zu verfallen. Alles gemessen: Bestehensquote je Rubrik, vor Produktion gefangene Regressionen, erkannte Drift und Zeit bis zur Korrektur.

Was sich ändert

Was du nicht mehr verlierst

Qualität ist kein Eindruck mehr: Sie wird zu einer über die Zeit verfolgten Metrik, so weiß man, ob der Agent besser oder schlechter ist als letzte Woche, bevor es ein Kunde sagt.
Mechanismus
Regressionen werden vor Produktion gefangen: Eine Modell- oder Prompt-Änderung wird gegen das Kriterium bewertet und geht nur live, wenn sie nichts verschlechtert, statt den Fehler bei einem Kunden zu entdecken.
Mechanismus
Der stille Fehler versteckt sich nicht mehr: Die kontinuierliche Stichprobe bringt die plausible, aber falsche Antwort ans Licht, die Beschwerden nicht erfassen, weil sich fast niemand beschwert — man geht einfach.
Mechanismus
Was wir messen: Bestehensquote je Rubrik, vor Produktion gefangene Regressionen, kontinuierlich erkannte Drift und Zeit vom Fehler bis zur Korrektur.
Was wir messen

Datenblatt

Wegfallende Arbeit: dass die Qualität deiner KI-Agenten in Produktion von niemandem gemessen wird und erst auffällt, wenn sich ein Kunde beschwert, ohne Kriterium, ohne Stichprobe und ohne Gate vor dem Ausrollen einer Änderung
Übliche Einrichtung: 2–4 Wochen
Eingang: die echten Gespräche deiner Agenten in Produktion, die ausgerollten Modell-, Prompt- und Tool-Änderungen und die Beschwerden, die spät und nur von der Spitze des Eisbergs kommen
Ausgang: die Qualität jedes Agenten kontinuierlich gegen deine eigene Rubrik bewertet, mit vor Produktion gefangenen Regressionen, per Alarm erkannter Drift und einer Korrekturschleife, die in den Testsatz zurückführt
Kompatibel mit: OpenAIAnthropicAzure OpenAIAmazon BedrockGoogle Vertex AI
Kann sich verbinden mit: Deine Agenten und ihre ProduktionsaufzeichnungenDeine Eval-Frameworks (LangSmith, Promptfoo, Braintrust)Dein Qualitäts-Dashboard und dein Deployment-Gate
Was wir messen: Bestehensquote je Rubrikvor Produktion gefangene Regressionenkontinuierlich erkannte DriftZeit vom Fehler bis zur Korrektur
Geeignet für: Unternehmen mit einem oder mehreren KI-Agenten in Produktion, deren Qualität heute niemand systematisch misst und die sie steuern müssen — messen, überwachen und verteidigen — bevor sie skalieren
Nicht geeignet für: wer noch im Prototyp ohne echten Traffic zum Stichproben ist, oder wer ein einmaliges Audit statt einer kontinuierlich laufenden Qualitätsfunktion sucht

Häufig gestellte Fragen

Ihn einmal zu testen ist die Momentaufnahme vom Starttag; das hier ist der Film. Ein Agent in Produktion verfällt von selbst, wenn sich das Modell ändert, ein Prompt angepasst wird oder die Welt sich bewegt, also sagt ein Starttest nichts über die Qualität in drei Wochen. Was wir bauen, läuft kontinuierlich: Es stichprobt echte Gespräche, bewertet sie gegen dein Kriterium und warnt, wenn die Qualität fällt. Der Anfangstest ist ein Punkt; die Funktion ist die Linie.

Du, und wir halten es schriftlich fest, bevor wir irgendetwas messen. Die Rubrik — Genauigkeit, Ton, Sicherheit, Format, deine Richtlinien — und der Testsatz mit den richtigen Antworten kommen aus deinem Geschäft, nicht aus einer Vorlage. Wir bringen die Methode — automatische Richter für das Volumen, menschliche Prüfung, wo es zählt — und die Disziplin, damit das Kriterium nicht jeder selbst erfindet. Ohne ein Kriterium von dir ist „Qualität" eine Meinung; mit ihm eine Zahl.

Weder blind noch gar nicht: Wir setzen sie für das ein, was sie gut können — viel Volumen gegen klare Kriterien prüfen — und kalibrieren sie gegen menschliche Prüfung an einer Stichprobe, um zu wissen, wie oft sie richtig liegen. Das Heikle oder Mehrdeutige geht immer an einen Menschen. Das Ziel ist nicht, menschliches Urteil durch eine Richter-KI zu ersetzen, sondern es zu skalieren: Eine von Menschen geprüfte Stichprobe setzt die Latte und der automatische Richter wendet sie überwacht auf den Rest an.

Mit denen, die du schon hast. Wir arbeiten auf deinen Agenten und ihren Produktionslogs und auf Standard-Eval-Frameworks — LangSmith, Promptfoo, Braintrust und ähnliche — egal welcher Modellanbieter. Wir verlangen nicht, den Agenten neu zu bauen oder das Tool zu wechseln: Wir setzen die Bewertungsfunktion auf das, was bereits in Produktion läuft.

Bauen wir es in deinem Betrieb?

Du hast das Problem benannt. Wir liefern die Lösung und lassen sie gemessen laufen.

Zum Service