Zum Inhalt springen
Implementa.
InfrastrukturAutomatisierung··5 Min.

KI-Agent und Nachfragespitzen: Was du vor Black Friday und Monatsabschluss proben solltest

Ein KI-Agent, der für den Durchschnittstag ausgelegt ist, bricht bei Nachfragespitzen weg: Ratenlimits, Warteschlangen, Kosten, überlastete Menschen. Was du vorher proben und was du absichtlich herunterfahren solltest, damit nichts umfällt.

Senior AI Infrastructure Implementer

AI Infrastructure Pod

Illustratives Szenario. An einem Kampagnen-Montag bekommt der Support-Agent, der das ganze Jahr bestens läuft, in einer Stunde, was er sonst an einem Tag bekommt. Die ersten Nachrichten gehen glatt raus. Nach zwanzig Minuten beginnen die Wiederholungen, die Warteschlange wächst, der Modellanbieter liefert Limit-Fehler, und der Posteingang der Menschen, der auffangen sollte, was der Agent nicht löst, läuft auf einmal voll. Niemand hat etwas kaputt gemacht: Das System hat diesen Tag nur nie geprobt.

Die These in einer Zeile: Ein Agent, der für den Durchschnittstag ausgelegt ist, scheitert in der Spitze nicht, weil er schlecht ist, sondern weil vorher niemand entschieden hat, was zuerst heruntergefahren wird. Eine Spitze übersteht man nicht mit mehr Leistung, sondern mit einer vorab vereinbarten Ausfallreihenfolge.

Warum versagt ein KI-Agent bei Nachfragespitzen?

Weil Nachfragespitzen nicht das belasten, was du getestet hast (die Antwortqualität), sondern das, was du für selbstverständlich gehalten hast (alles drumherum). Vier Bruchstellen, fast immer dieselben:

  • Ratenlimits und Kontingente. Der Modellanbieter begrenzt, wie viele Anfragen und Tokens pro Minute du bekommst. Teilen sich mehrere Agenten einen Schlüssel, frisst die Spitze des einen das Kontingent der anderen. Die echten Limits hängen von Anbieter und Tarif ab: Sieh sie dir vorher an, nicht währenddessen.
  • Warteschlangen und Wiederholungen. Ein ungebremster Retry macht aus einem einzelnen Fehler eine Lawine: Jede fehlgeschlagene Anfrage kommt zurück und verschärft den Stau, der sie scheitern ließ.
  • Kosten. Mit mehr Volumen, längeren Gesprächen und mehr Tool-Aufrufen wächst die Ausgabe schneller als der Verkehr. Ohne Deckel erfährst du es zum Monatsende, wenn nichts mehr zu entscheiden ist.
  • Überlastete Menschen. Der Agent eskaliert schwierige Fälle an Personen; in der Spitze eskaliert er mehr, und alles gleichzeitig. Hält der menschliche Posteingang das nicht aus, verschwindet der Engpass nicht: Er wandert.

Achte darauf, was in der Liste fehlt: das Modell. Es ist fast nie das Modell. Es ist alles, was daran hängt, und das lässt sich proben.

Was solltest du vor der Spitze proben?

Proben heißt, rechtzeitig die kleine Version der Katastrophe durchzuspielen. Du brauchst keine Riesenübung, sondern eine ehrliche. Eine Mindestreihenfolge:

  1. Miss deinen Durchschnittstag und lege die erwartete Spitze fest, anhand echter Daten aus früheren Kampagnen oder Abschlüssen, nicht nach Bauchgefühl. Keine Historie? Geh von deinen schlimmsten bekannten Stunden aus.
  2. Fahre die Last in einer Testumgebung hoch und beobachte, wo das erste Limit auftaucht: Rate, Warteschlange, externes Tool oder Mensch. Das ist dein echter Engpass, nicht der, den du angenommen hast.
  3. Teste den Ausfall, nicht nur die Last. Kappe das externe Tool absichtlich, simuliere den Limit-Fehler des Anbieters und schau, was der Agent tut: Erfindet er etwas, schweigt er oder wiederholt er endlos, weißt du, was zu reparieren ist. Änderungen testen, ohne die Automatisierung zu zerstören hilft auch hier.
  4. Setze Ausgabendeckel und Alarme pro System, mit Warnung vor dem Deckel statt danach, und einer namentlich benannten Person, die sie in der Spitze erhält.
  5. Probe die Übergabe an Menschen. Wie viele Fälle pro Stunde schafft die Person in Bereitschaft, und was passiert mit dem Rest? Das testet fast niemand, und es fällt am meisten auf; wie du Human-in-the-Loop gestaltest, entscheidet, ob diese Person eine Bremse oder ein Netz ist.

Und miss, während du probst: Ohne Erkennung von Fehlern in deinen Automatisierungen kann eine gestörte Spitze wie eine ruhige aussehen.

Was solltest du absichtlich herunterfahren, damit nichts umfällt?

Elegant herunterfahren heißt, vorher zu entscheiden, was der Agent zuerst nicht mehr tut. Es ist die Logik der Autonomiestufen eines Agenten, auf die Zeit angewendet: In der Spitze geht der Agent eine Sprosse tiefer, statt vom Gebäude zu fallen.

Was brichtMögliche HerabstufungWas du schützt
Anbieter-Kontingent erschöpftFür einfache Anfragen auf ein leichteres Modell wechseln, das starke für kritische aufsparenWichtige Fälle bekommen weiter Antworten
Wachsende WarteschlangeSofortige Eingangsbestätigung mit realistischer Frist, Verarbeitung im HintergrundDas Vertrauen der Kunden: Sie wissen, dass ihr Fall existiert
Kosten über dem DeckelTeure Tools und Gesprächslänge begrenzen; den Rest auf ein Formular lenkenDas Budget, ohne den Service abzuschalten
Überlastete MenschenNach Dringlichkeit sortieren und Unkritisches mit Datum vertagen, statt alles zu eskalierenDie Menschen und die Fälle, die nicht warten können

Nichts davon ist glamourös, und genau deshalb funktioniert es: Das sind Betriebsentscheidungen, die man an einem Dienstag im Oktober in Ruhe trifft, nicht um neun Uhr am Black-Friday-Morgen. Wenn du lieber hast, dass derjenige sie trägt, der den Betrieb führt, deckt das genau KI-Verfügbarkeit sicherstellen und KI im Produktivbetrieb überwachen ab.

Wer entscheidet, was in der Spitze abgeschaltet wird?

Eine vereinbarte Herabstufung nützt nur, wenn jemand die Befugnis hat, sie im Moment auszulösen. Mitten in der Spitze ist keine Zeit, ein Gremium einzuberufen; also fällt die Entscheidung vorher: Du schreibst eine Seite mit drei Dingen.

  • Der Auslöser. Das konkrete Signal, das jede Herabstufung aktiviert: Die Warteschlange überschreitet eine bestimmte Größe, die Ausgaben überschreiten einen bestimmten Prozentsatz des Deckels, der Anbieter liefert mehrere Minuten in Folge Limit-Fehler. Ohne messbaren Auslöser wird jede Entscheidung zur Debatte.
  • Die verantwortliche Person. Jemand mit Namen und eine Vertretung, die die Herabstufung auslösen darf, ohne jemanden um Erlaubnis zu fragen. Vorab delegierte Befugnis macht aus einem Plan einen Schalter.
  • Der Weg zurück. Wie und wann das Normalverhalten wiederhergestellt wird und wer prüft, was in der Spitze vertagt wurde. Eine Herabstufung, die niemand zurücknimmt, wird zum neuen Standard, ohne dass es jemand entschieden hat.

Mit dieser Seite ist die Spitze keine Improvisation um neun Uhr morgens mehr, sondern ein Verfahren. Und was du an dem Tag gelernt hast, wird für das nächste Mal festgehalten: was jede Herabstufung ausgelöst hat, wie lange sie dauerte und was du anders machen würdest.

Wann musst du dich nicht auf die Spitze vorbereiten?

Wenn die Spitze vorhersehbar und klein ist, wenn der Agent nicht auf dem kritischen Pfad liegt (fällt er aus, warten die Leute, keine Bestellung geht verloren) oder wenn ein kurzer Ausfall weniger kostet als die Vorbereitung. Ein interner Abfrage-Agent, der montags mehr genutzt wird, braucht keine Übung; einer, der während einer Kampagne Bestellungen annimmt, schon. Zu viel Vorbereitung ist auch Theater.

Der Satz zum Mitnehmen: Lege nicht für den Durchschnittstag und nicht für den Traumtag aus; entscheide, in welcher Reihenfolge der schlechte Tag zusammenbricht, und probe sie.

Hinweis: Dieser Artikel verwendet keine Zahlen Dritter. Ratenlimits und Preise hängen von Anbieter und Tarif ab und ändern sich; prüfe die Dokumentation deines Anbieters, bevor du dimensionierst. Das Eröffnungsszenario ist illustrativ.

Lassen wir's laufen?

Wenn dich das angesprochen hat, 30-Minuten-Gespräch ohne Verpflichtung. Wir sagen dir, was passt, was nicht und den ungefähren Preis.

Fallstudien ansehen
KI-Agent und Nachfragespitzen: Was du vor Black Friday und Monatsabschluss proben solltest · Implementa