Die Demo nimmt immer dasselbe Dokument: ein natives PDF, von einem anderen System erzeugt, sauber gesetzt, in einer Sprache, mit rechtwinkligen Tabellen und dem Logo oben links. Das Werkzeug liest es in zwei Sekunden und gibt alle Felder zurück. Applaus. Und das stimmt sogar, da ist kein Trick: dieses Dokument bekommt heute jedes halbwegs gute Produkt am Markt hin, und zwar billig. Das Problem ist, dass dieses Dokument nicht deins ist. Genauer gesagt: es sind 85 % von deinem, und die 85 % waren nie das Projekt.
Die These in einem Satz: In der Dokumentenextraktion werden Budget und Zeitplan nicht vom einfachen Teil bestimmt. Sie werden von den 15 % seltsamen Dokumenten bestimmt, die keine Demo je zeigt — der schiefe Scan, die über zwei Seiten zerrissene Tabelle, der handschriftliche Lieferschein mit dem Stempel darüber, der Lieferant, der im Juli seine Vorlage geändert hat, ohne jemandem Bescheid zu sagen. Und die Zahl, mit der man es dir verkauft, die durchschnittliche Trefferquote, ist genau die Kennzahl, die dafür gebaut ist, diesen Rand unsichtbar zu halten.
Fehler bei der KI-Datenextraktion aus Dokumenten verteilen sich nicht gleichmäßig
Wenn ein Anbieter „97 % Trefferquote" sagt, hörst du einen Durchschnitt. Und ein Durchschnitt verteilt per Definition: er legt nahe, dass von hundert Dokumenten drei ein kleineres Problem haben, zufällig gestreut, so wie man drei Socken im Jahr verliert. So läuft das nicht. Extraktionsfehler streuen sich nicht über den Stapel, sie klumpen — und sie klumpen immer an denselben Stellen. Dieselbe Handvoll Lieferanten, dieselbe Art Scan, dasselbe verfluchte Feld.
Genau dieses Klumpen macht aus einer hübschen Zahl ein langes Projekt. Wären die 3 % Fehler wirklich verteilt, fängt der Prozess sie ab: jemand korrigiert drei lose Dinge und es geht weiter. Sind die 3 % immer die Dokumente derselben vierzehn Lieferanten, dann hast du keine 3 % Fehler — dann hast du vierzehn Lieferanten, die weiter von Hand erfasst werden, mit eigenem Parallelprozess, eigener Person und eigener Tabelle. Die Ersparnis, die du eingeplant hattest, verdampft dort, nicht im Modell.
Die allgemeine Logik — warum ein Prozentwert an Genauigkeit in Produktion nicht reicht und wie sich die Schwelle aus den Fehlerkosten ergibt — haben wir separat erzählt. Hier wird es konkret: was diese Dokumente genau sind, warum sie brechen und was du verlangen musst, bevor du irgendetwas unterschreibst.
Die fünf Dokumente, die das Projekt auffressen
Das sind keine fünf exotischen Sonderfälle. Es sind die fünf, die in jedem echten Betrieb auftauchen, sobald du zwei Wochen in den tatsächlichen Posteingang geschaut hast statt in den Beispielordner, den jemand für das Meeting zusammengestellt hat.
| Was hereinkommt | Warum es bricht | Was es wirklich kostet |
|---|---|---|
| Das Handyfoto und der 150-dpi-Scan | Schiefer Text, Schatten über die halbe Seite, Auflösung unter dem, was die Erkennung braucht, um eine 3 von einer 8 zu unterscheiden | Der Fehler ist unsichtbar: der Betrag geht durch, er ist plausibel, und niemand fängt ihn vor dem Abschluss |
| Die über zwei Seiten zerrissene Tabelle | Das System liest jede Seite als Einheit; die letzte Zeile der ersten und die erste der zweiten fallen weg oder verdoppeln sich | Die Summe stimmt und die Positionen nicht — und genau die braucht die Kostenrechnung |
| Die Handschrift, der Stempel und die Kugelschreibernotiz | Die handschriftlich korrigierte Liefermenge auf dem Lieferschein ist der richtige Wert, und sie ist der einzige, der nicht gedruckt ist | Das System liefert die gedruckte Zahl mit voller Zuversicht: stiller Fehler, der teuerste von allen |
| Der Lieferant, der im Juli seine Vorlage geändert hat | Was mit Vorlage lief, läuft nicht mehr, ohne dass jemand etwas angefasst hat, und das System meldet nichts, weil es weiter Felder findet | Wochen schlechter Daten, bevor jemand das Muster sieht; teuer ist nicht das Nacharbeiten, teuer ist das verlorene Vertrauen |
| Das mehrdeutige Dokument: Gutschrift, Kopie, Proforma | Das Problem ist nicht, es zu lesen, sondern zu entscheiden, was es ist. Die Form ist identisch mit einer Rechnung, die Bedeutung ist das Gegenteil | Eine als Rechnung gebuchte Gutschrift wird zweimal bezahlt; man merkt es beim Abgleich, Monate später |
Schau auf die dritte Spalte, die in der Beschaffungsphase niemand liest. Keiner der fünf Fälle fällt laut aus. Ein System, das abstürzt und einen Fehler zurückgibt, ist billig: du siehst es, schickst es in die manuelle Schlange und machst weiter. Die fünf oben geben Daten zurück — plausibel, korrekt formatiert, mit der üblichen Zuversicht. Das ist der Fehlermodus, der den Projektzeitplan wirklich bestimmt, denn den behebst du nicht mit einem besseren Modell. Den behebst du mit Prüfungen, Geschäftsregeln und einer Person, die an der richtigen Stelle hinschaut.
Warum die durchschnittliche Trefferquote genau den teuren Teil verdeckt
Die Arithmetik dahinter, warum 95 % Genauigkeit pro Feld eine Quote gültiger Dokumente von 60 % bedeuten können, haben wir beim Vergleich von klassischem OCR und multimodalen Modellen zum Lesen von Dokumenten schon auseinandergenommen: gemessen wird pro Feld, bezahlt wird pro Dokument, und das Feld, das versagt, ist nie die Postleitzahl. Hier interessiert uns die Folge, und die ist eine Budgetfrage, keine Messfrage: der Abstand zwischen diesen beiden Zahlen ist kein statistisches Rauschen, er ist der Rand schwieriger Dokumente, verwandelt in dauerhafte Handarbeit.
Und das ist keine Schreibtisch-Intuition: es ist der Engpass, den die Branchenforschung seit Jahren misst. In The State of ePayables 2025 beziffert Ardent Partners die durchschnittliche Ausnahmequote bei Rechnungen auf 18,4 % — fast jede fünfte Rechnung fällt aus dem automatischen Fluss und landet bei einem Menschen — und stellt ausdrücklich fest, dass Ausnahmen der größte Einzelgrund dafür sind, dass sich die übrigen Kennzahlen der Abteilung nicht verbessern. In derselben Erhebung verarbeiten die Organisationen im obersten Quartil keine anderen Rechnungen: ihre Ausnahmequote liegt 47 % niedriger und sie verarbeiten 1,8-mal so viele Rechnungen ohne manuellen Eingriff wie der Rest. Der Unterschied zwischen einer guten und einer mittelmäßigen Kreditorenbuchhaltung liegt nicht im einfachen Dokument. Er liegt vollständig im Rand. (Geltungsbereich: überwiegend nordamerikanische Stichprobe von Kreditorenbuchhaltern; die Zahl bemisst das Problem, sie ist kein Ergebnis von uns.)
Ins Budget übersetzt: dimensionierst du das Projekt über die 85 %, die von allein durchlaufen, budgetierst du den Teil, der ohnehin billig war. Die echte Rechnung kommt vom anderen Ende, und sie kommt in Kalenderwochen, nicht in Lizenzgebühren.
Was du den Anbieter vor der Unterschrift fragen musst
Fünf Fragen. Keine davon technisch, alle fünf unangenehm — und genau das ist das Zeichen, dass sie taugen. Ein Anbieter, der sie gut beantwortet, ist mehr wert als einer mit einer makellosen Demo.
- „Gebt uns eure Quote auf unseren zweihundert schlechtesten Dokumenten, nicht auf eurem Benchmark." Das ist die einzige Frage, die zählt. Du wählst die Stichprobe: die schlechten Scans, die seltsamen Lieferanten, die Handschriften. Lautet die Antwort, dass sie darauf erst trainieren müssen, ist das eine gültige und ehrliche Antwort — aber jetzt weißt du, dass es eine Projektphase gibt, die nicht im Angebot stand.
- „Gebt mir die Genauigkeit aufgeschlüsselt nach Feld, nicht den Gesamtwert." Gesamt ist Marketing. Pro Feld sieht man sofort, ob Betrag und Steuernummer halten oder ob der Durchschnitt von Datum und Postleitzahl getragen wird.
- „Was macht das System, wenn es sich nicht sicher ist?" Die richtige Antwort ist: es markiert den Fall und schickt ihn in die Prüfung. Gibt das System immer einen Wert zurück, hat es keine Unsicherheit: es ist bei dem, was es weiß, genauso zuversichtlich wie bei dem, was es erfindet — und das ist der stille Fehler aus der Tabelle oben.
- „Wie erfahre ich, dass ein Lieferant seine Vorlage geändert hat?" Such eine Antwort mit konkretem Mechanismus — ein Alarm bei sinkender Konfidenz oder bei Drift in der Werteverteilung. Lautet die Antwort „das würdest du in den Daten sehen", heißt das übersetzt: du wirst es spät sehen.
- „Wer bezahlt die Nacharbeit, und in welcher Frist." Nicht um jemanden zu bestrafen, sondern um zu wissen, ob die Kosten der 15 % auf deiner Seite des Tisches bleiben. Fast immer bleiben sie das. Besser vor der Unterschrift wissen als beim zweiten Monatsabschluss.
Eine Warnung zur ersten Frage: bau die Stichprobe vor dem Termin, nicht danach. Zweihundert von dir ausgewählte Dokumente, mit von Hand notierter Wahrheit. Das ist ein langweiliger Arbeitstag und das Einzige, was aus einer Kaufentscheidung eine Messung macht.
Wie man das budgetiert, damit es in Produktion ankommt
Der Weg, der funktioniert, ist kontraintuitiv: man budgetiert zuerst den schwierigen Rand und den einfachen Teil kaum. In der Praxis heißt das drei Entscheidungen, bevor eine Zeile Code entsteht. Erstens: welche Felder kritisch sind und welche bequem — der Betrag wird gegen die Bestellung geprüft, die Postleitzahl gegen gar nichts. Zweitens: wo die Person sitzt — nicht alles prüfend, das killt die Ersparnis, sondern genau auf den Dokumenten, die das System als zweifelhaft markiert, und auf den Feldern, die Geld kosten. Das ist der Entwurf des Menschen in der Schleife einer Automatisierung, angewandt auf den buchstäblichsten Fall, den es gibt. Und drittens: was stromabwärts mit einem nicht lesbaren Dokument passiert, denn ein Extraktionsprojekt, das im nächsten Schritt ein Loch lässt, hat nichts automatisiert — es hat den Engpass verschoben, die klassische Falle beim Automatisieren eines Prozesses von Anfang bis Ende mit KI.
Sind diese drei entschieden, wird die Technologiewahl fast zweitrangig — und wenn sie ansteht, ist der Vergleich zwischen klassischem OCR und multimodalen Modellen zum Lesen von Dokumenten separat erzählt. Wir bauen genau das in den beiden Fällen, die sich am häufigsten wiederholen: Daten aus Rechnungen extrahieren und eingehende Dokumente klassifizieren, damit jedes an seinem Platz landet. In beiden ist die ernsthafte Arbeit nicht, das schöne PDF zu lesen. Sie besteht darin, zu entscheiden, was geprüft wird, wer sich die zweifelhaften Fälle ansieht und was passiert, wenn das hässliche Dokument kommt.
Das Fazit, ohne Verzierung
Die Frage, auf die fast alle kaufen — „welche Genauigkeit hat es?" — ist die falsche Frage, und zwar nicht, weil die Zahl falsch wäre, sondern weil sie den Teil der Arbeit beschreibt, der schon gelöst war. Die nützliche Frage ist, was dein System an dem Tag tut, an dem der handschriftliche Lieferschein, die zerrissene Tabelle und die neue Vorlage des großen Lieferanten ankommen. Lautet die Antwort „es markiert es, legt es beiseite und meldet sich", hast du ein Projekt. Ist die Antwort ein Prozentwert, hast du eine Demo.
Kauf keine durchschnittliche Genauigkeit. Kauf Verhalten vor dem hässlichen Dokument.