Das Angebot kommt sauber gesetzt. Vierzig Seiten, ein Diagramm mit zwölf Kästen und für jeden einen Namen: GPU-Cluster, Data Lake, dedizierte Vektordatenbank, Orchestrierungsplattform, MLOps-Schicht. Ein sechsstelliges Budget. Und auf Seite drei ein Satz, den niemand markiert: „Auf dieser Basis können anschließend die ersten Anwendungsfälle ausgerollt werden.“ Heißt: Der erste Agent kommt später. Wenn überhaupt.
Die These in einem Satz: Wenn dein Unternehmen keine Modelle trainiert —und das tut fast keins—, ist deine KI-Infrastruktur kein Hardware-Problem, sondern ein Leitungsproblem. Vier Schichten entscheiden, ob ein Agent in Produktion kommt: wie er deine Daten liest, mit welcher Identität er handelt, worüber er das Modell aufruft und welche Spur er hinterlässt. Alles andere kaufst du, wenn ein konkretes Symptom danach verlangt. Nicht vorher.
KI-Infrastruktur im Unternehmen: Wer keine Modelle trainiert, hat kein GPU-Problem
Such nach „KI-Infrastruktur“ und du findest vor allem Hardwarehersteller und große Clouds, die beschleunigtes Rechnen, Hochleistungsspeicher und Netzwerke fürs Training erklären. Das stimmt, wenn du eigene Modelle trainierst oder betreibst. Für ein Unternehmen, das Modelle über eine API nutzt —und das ist die große Mehrheit—, hat diese Schicht längst der Modellanbieter gekauft und rechnet sie pro Token ab.
Was auf deiner Seite bleibt, ist etwas anderes: der Weg zwischen deinen Systemen und dem Modell. Und genau auf diesem Weg scheitern Projekte. Gartner hat das in zwei Prognosen beziffert, die man zusammen lesen sollte: In einer im Februar 2025 veröffentlichten weltweiten Umfrage unter Datenverantwortlichen hatten 63 % der Organisationen keine passenden Datenmanagement-Praktiken für KI oder wussten nicht, ob sie welche haben; das Analystenhaus erwartet, dass Organisationen bis 2026 60 % der KI-Projekte ohne KI-taugliche Daten aufgeben (Gartner, 2025). Im Juni desselben Jahres kam hinzu: Über 40 % der Projekte mit agentischer KI werden bis Ende 2027 eingestellt, wegen ausufernder Kosten, unklarem Nutzen oder unzureichender Risikokontrollen (Gartner, 2025).
Schau dir die Liste der Ursachen an: Daten, Kosten, Risiko. Fehlende Rechenleistung ist nicht dabei. Das sind Analystenprognosen, keine Fakten, aber sie zeigen alle auf dieselbe Stelle: Die Infrastruktur, die versagt, ist die, die verbindet, nicht die, die rechnet.
Die vier Schichten, die du vor dem ersten Agenten wirklich brauchst
Sie müssen nicht groß sein. Sie müssen existieren, einen Verantwortlichen haben und so gebaut sein, dass der zweite Agent dieselben nutzt, statt eigene aufzubauen.
- Datenzugriff. Worüber der Agent liest, was er braucht: eine ERP-API, eine Nur-Lese-Ansicht auf die Datenbank, ein synchronisierter Ordner. Die Regel: Er liest aus einer Quelle mit Verantwortlichem, nicht aus einer Excel-Datei, die montags jemand von Hand exportiert. Wie das geht, ohne deine Systeme neu zu bauen, steht im Leitfaden, wie du KI an ERP, CRM und Dokumentenmanagement anbindest.
- Identität und Berechtigungen. Der Agent handelt mit eigenem Konto, beschränkt auf seine Aufgabe, mit einem Entzug, der mindestens einmal getestet wurde. Nie mit dem Konto der Person, die ihn gebaut hat. Am Anfang die billigste Schicht, später die teuerste Reparatur — Details in welche Berechtigungen ein KI-Agent bekommen sollte.
- Modell-Gateway. Ein einziger Punkt, über den alle Modellaufrufe laufen, statt eines API-Schlüssels in jedem Tool. Das bringt dir drei Dinge auf einmal: Anbieter wechseln, ohne jeden Agenten anzufassen, eine Ausgabengrenze setzen und sehen, welcher Agent was verbraucht. Welche Modelle dahinter stehen, ist eine eigene Entscheidung, besprochen in welches Modell in einem Agenten.
- Tracing. Jeder Lauf hält fest, was reinkam, was der Agent entschieden hat, welche Tools er aufgerufen hat und was rausging. Ohne das kannst du keinen Fehler erklären, keine Qualität messen und keinem Prüfer antworten. Eine Plattform braucht es dafür nicht: Offene Tools reichen für einen minimalen Observability-Stack.
Was man dir zu viel verkauft (und wann es kein Überfluss mehr ist)
Nichts davon ist heiße Luft. Alles hat seinen Moment. Das Problem ist, es vor dem Symptom zu kaufen, das es rechtfertigt — dann zahlst du Wartung für etwas, das niemand nutzt.
| Baustein | Verkauft wird er dir für | Du brauchst ihn, wenn |
|---|---|---|
| GPUs oder eigener Cluster | „Unabhängigkeit“ und Datenschutz | Du eigene Modelle trainierst oder betreibst oder das Aufrufvolumen die API teurer macht als den Eigenbetrieb des Modells |
| Dedizierte Vektordatenbank | RAG „richtig“ machen | Deine Dokumente mehr werden, als eine Vektor-Erweiterung auf deiner bestehenden Datenbank mit akzeptabler Latenz schafft |
| Plattform zur Agenten-Orchestrierung | „Alle Agenten“ steuern | Du mehrere Agenten mit verschiedenen Verantwortlichen hast und nicht mehr weißt, welche es gibt und was sie anfassen |
| Vollständige MLOps-Schicht | Industrialisierung ab Tag eins | Du selbst trainierte Modelle hast, die neu trainiert und versioniert werden |
| Neuer Data Lake | „KI-taugliche Daten“ | Der Anwendungsfall Quellen verknüpfen muss, die sich heute auf keinem anderen Weg verknüpfen lassen |
Die rechte Spalte beschreibt ein beobachtbares Symptom, keinen Wunsch. Das ist der Unterschied zwischen Infrastruktur kaufen und Beruhigung kaufen. Beruhigung ist teurer und lässt sich nicht messen.
Wie wächst die Infrastruktur von einem Agenten auf zwanzig, ohne sie neu zu bauen?
Der Witz am Start mit den vier Schichten: Sie skalieren, ohne weggeworfen zu werden. Mit der Zahl der Agenten ändert sich die Dicke jeder Schicht, nicht ihre Existenz.
- Ein Agent. Eine Lesequelle, ein Dienstkonto, ein einfaches Gateway und Traces in günstigem Speicher. Passt in das, was du schon bezahlst.
- Fünf Agenten. Jetzt kommt die Rechnung, mit der keiner gerechnet hat —Traffic, Aufrufe zwischen Systemen, Traces— und die Notwendigkeit, Kosten pro Agent zuzuordnen. Mehr dazu in die Rechnung, die dein Agent hochtreibt, ist eine andere. Ab hier ist das Gateway nicht mehr optional.
- Zwanzig Agenten. Es gibt verschiedene Verantwortliche, Test- und Produktionsumgebungen und jemanden, der fragt, wie viele Agenten das Unternehmen eigentlich hat. Ab da lohnen sich ein Inventar und vielleicht eine Management-Plattform.
Musstest du bei jedem Sprung die Schicht darunter neu bauen, war sie schlecht entworfen. Musstest du sie nur verstärken, war sie gut.
Wann du NICHTS davon aufbauen musst
Wenn du einen Chat-Assistenten hast, mit dem das Team Texte entwirft und zusammenfasst, ohne deine Systeme zu berühren, brauchst du keine KI-Infrastruktur: Du brauchst eine Unternehmenslizenz mit klaren Datenbedingungen und eine Nutzungsrichtlinie. Auch für einen zweiwöchigen Piloten, der in kein System schreibt, brauchst du sie nicht. Die vier Schichten kommen ins Spiel, sobald ein Agent Unternehmensdaten liest oder in deinem Namen handelt. Vorher ist jede Architektur die Antwort auf eine Frage, die du noch nicht gestellt hast.
Und wenn dein Betrieb klein ist und schon zwei, drei Agenten laufen, brauchst du keine Plattformschicht, um sie zu steuern: Ein paar gut gesetzte Mindestkontrollen reichen. Welche, steht in AgentOps für KMU ohne Plattform-Team.
Fünf Fragen, bevor du ein KI-Infrastrukturprojekt unterschreibst
- Welcher Agent läuft als Erstes darauf, und in welcher Woche?
- Welchen Kasten im Diagramm könnte man streichen, ohne dass dieser erste Agent es merkt?
- Wer ist nach Projektende für jede der vier Schichten verantwortlich?
- Wie wechselst du den Modellanbieter, ohne den Code jedes Agenten anzufassen?
- Was kostet der Betrieb des Ganzen im Monat, wenn niemand vom Dienstleister zuschaut?
Kommen die Antworten konkret, ist das Angebot seriös. Kommen sie als Phase zwei, zahlst du im Voraus für Infrastruktur für Anwendungsfälle, die es noch nicht gibt. Die vier Schichten für deinen ersten Agenten zu entwerfen und für den zwanzigsten bereit zu machen —ohne das Zwölf-Kästen-Diagramm— ist genau die Arbeit unserer KI-Infrastruktur für Unternehmen. Und sobald sie laufen, sorgt KI in Produktion überwachen dafür, dass die Tracing-Schicht kein Log wird, das niemand liest.
Der Satz fürs nächste Meeting: „Bevor wir über die Plattform reden: Sag mir, woraus der Agent liest, mit welchem Konto er handelt, worüber er das Modell aufruft und wo er seine Spur hinterlässt.“