Jemand bietet an, «ein Modell mit deinen Daten zu trainieren», und es klingt danach, die KI endlich zu deiner zu machen, maßgeschneidert, unschlagbar. Es klingt teuer, also klingt es seriös. Vor der Unterschrift hilft zu wissen, dass du in den allermeisten Unternehmensfällen gerade die teure Lösung für ein Problem zahlst, das die günstige besser löst. Die grundlegende Entscheidung heißt RAG oder Fine-Tuning, und die richtige Antwort ist fast immer RAG. Hier steht, warum, ohne Nebel.
RAG vs Fine-Tuning im Unternehmen: was jedes tut
Es sind zwei verschiedene Dinge, die der Jargon mit Absicht vermischt. RAG (Retrieval-Augmented Generation) rührt das Modell nicht an: es gibt ihm eine Bibliothek. Kommt eine Frage rein, sucht das System die relevanten Fragmente aus deinen Dokumenten und reicht sie dem Modell zusammen mit der Frage, damit es mit deiner Information vor Augen antwortet. Das Wissen lebt außerhalb des Modells, in einer Basis, die du jederzeit aktualisieren kannst.
Fine-Tuning ist das Gegenteil: du nimmst ein Basismodell und trainierst es mit Tausenden Beispielen nach, damit es seine internen Gewichte anpasst. Du gibst ihm keine Bibliothek; du änderst seine Reflexe. Das taugt, um ein Format, einen Ton oder eine sehr wiederkehrende Aufgabe beizubringen —nicht, um ihm Daten zu füttern, die sich ändern. Und da beginnt die teure Verwechslung: fast jeder, der Fine-Tuning verlangt, will eigentlich, dass die KI «ihr Zeug kennt», und genau das kann RAG besser.
| Dimension | RAG | Fine-Tuning |
|---|---|---|
| Was sich ändert | Der Kontext, den das Modell erhält | Die internen Gewichte des Modells |
| Wofür | Mit DEINEM Wissen antworten | Festes Format/Ton/Aufgabe übernehmen |
| Ein Fakt aktualisieren | Dokument bearbeiten, fertig | Ganzes Modell neu trainieren |
| Startkosten | Niedrig | Hoch (gelabelte Daten + Rechenleistung) |
| Nachvollziehbarkeit | Nennt die genutzte Quelle | Blackbox: keine Ahnung, woher |
| Typisches Risiko | Schlecht gebautes Retrieval | Selbstsicher halluzinieren, alte Daten |
Warum man dir Fine-Tuning verkauft (und warum du es fast nie brauchst)
Fine-Tuning verkauft sich aus drei Gründen gut, und keiner davon ist, dass es das Richtige für dich wäre. Erstens: es klingt maßgeschneidert —«ein mit deinen Daten trainiertes Modell» ist ein Satz, der Meetings schließt—. Zweitens: es ist teurer, und in der Beratung wird teuer mit gut verwechselt. Drittens: es ist schwer rückgängig zu machen, also bindet es den Kunden. Das Problem: es löst das falsche Problem. Das Unternehmen braucht kein Modell mit anderer Persönlichkeit, sondern eines, das mit der korrekten, aktuellen Information antwortet. Das ist ein Retrieval-Problem, kein Neutraining.
Der Beweis liegt in der Haltbarkeit der Daten. Deine Urlaubsregelung, dein Katalog, deine Preise und deine Abläufe ändern sich. Backst du sie per Fine-Tuning ein, verlangt jede Änderung ein Neutraining —und bis es kommt, behauptet das Modell die alte Version mit voller Überzeugung. Mit RAG bearbeitest du das Dokument und die nächste Frage antwortet schon mit dem Neuen, mit Quellenangabe. Für lebendiges Wissen ist Neutraining, als würde man Wikipedia jeden Morgen ausdrucken.
Wann es DOCH Fine-Tuning ist
Es ist nicht so, dass Fine-Tuning nie taugt. Es taugt, aber für eine schmale und gut identifizierbare Menge an Fällen:
- Du brauchst ein sehr starres, wiederkehrendes Ausgabeformat, das Prompting nicht stabilisiert (etwa Klassifizieren in dein eigenes Schema mit Tausenden Beispielen).
- Du willst einen sehr spezifischen, konstanten Ton oder Stil, keine Tatsache: ihm beibringen, «wie deine Marke» zu schreiben, wenn der System-Prompt am Ende ist.
- Du hast eine Aufgabe mit sehr hohem Volumen, wo das Sparen von Kontext-Tokens bei jedem Aufruf die Trainingskosten aufwiegt.
- Und —entscheidend— dieses Verhalten, das du beibringst, ändert sich NICHT jede Woche. Ändert es sich, gehst du zurück zu RAG.
Achte auf das Muster: Fine-Tuning ist, um eine stabile Fähigkeit beizubringen, nicht um wechselndes Wissen einzuspritzen. Sobald das, was es «wissen» soll, ein Verfallsdatum hat, schwingt die Antwort zurück zu RAG. Und in einem echten Unternehmen hat fast alles, was es wissen soll, ein Verfallsdatum.
Die 90 % der Unternehmensfälle: warum RAG gewinnt
Für die Frage, die sich ein Unternehmen wirklich stellt —«dass es mit unserem antwortet, aktuell, ohne zu erfinden»— gewinnt RAG bei den drei Dingen, die zählen: günstiger im Start, Aktualisierung durch Bearbeiten eines Dokuments und, vor allem, es nennt die Quelle, also kannst du prüfen, woher jede Antwort kam. Ein ernsthafter Agent ist 2026 fast immer ein gutes RAG-System mit Evals, die messen, ob es gut antwortet, kein neu trainiertes Modell. Im Detail im Leitfaden wie du einen KI-Agenten trainierst: Daten, Evals und Governance und in dem, wie du einen KI-Chatbot baust, der deine Wissensbasis nutzt, wo die RAG-Architektur Schritt für Schritt sichtbar wird.
RAGs anderer Vorteil: das Scheitern ist billig und sichtbar. Antwortet die KI schlecht, liegt es fast immer daran, dass das Retrieval das falsche Fragment holte —und das behebst du, indem du das Indexieren und Suchen verbesserst, nicht durch Neutraining. Bei Fine-Tuning hast du beim Fehler eine teure Blackbox und einen tagelangen Korrekturzyklus. Die Retrieval-Schicht richtig zu bauen —welche Dokumente, wie sie zerlegt werden, wie gesucht wird, was geloggt wird— ist Infrastruktur, und dort wird das Projekt gewonnen oder verloren: wir behandeln es als genau das im Service KI-Infrastruktur fürs Unternehmen.
Der teure Fehler: Fine-Tuning, um «Wissen einzuspritzen»
Wenn du eine Idee behältst, dann diese: Fine-Tuning ändert, wie das Modell spricht, nicht, was es zuverlässig weiß. Es zum Einspritzen von Daten zu nutzen, ist der häufigste und teuerste Fehler, denn das Modell lernt, wie deine Dokumente zu klingen, ohne zu garantieren, dass es ihre Fakten wiedergibt —und ohne Quellenangabe, du merkst also nicht einmal, wann es irrt. Starte immer mit RAG. Komm nur zu Fine-Tuning, wenn dir mit bereits gut gebautem Retrieval ein echtes Format- oder Stilproblem bleibt, das der Kontext nicht löst. In dieser Reihenfolge zahlst du für das Nötige, wenn es nötig ist.