Prompt Injection im Büro: Wenn E-Mails der KI Befehle geben
Ihr bittet die KI, ein Angebot zusammenzufassen. Im Anhang steht aber auch eine Anweisung, die mit dem Angebot nichts zu tun hat: Sie soll bestimmte Angaben verschweigen oder eine zusätzliche Aktion ausführen. Kann ein fremdes Dokument damit euren Auftrag verändern?
Die entscheidende Grenze
Eine Kundenmail darf Informationen liefern. Sie darf der KI keine neuen Rechte geben. Wenn ein KI-Arbeitsplatz externe Inhalte liest und zugleich Mails versenden oder Datensätze ändern kann, muss diese Grenze im technischen Ablauf abgesichert sein. Ein Satz im Prompt allein genügt dafür nicht.
Was „Prompt Injection“ hier bedeutet
Bei einer indirekten Prompt Injection versucht jemand, eine KI über Inhalte zu beeinflussen, die sie für eine andere Aufgabe liest. Die Anweisung kommt also etwa aus einer Webseite, einer Mail oder einem Dokument. Die Cybersicherheitsagentur Baden-Württemberg beschreibt diesen Angriff auf Datenquellen und verweist darauf, dass manipulierte Stellen für Nutzer auch verborgen sein können. CSBW: Indirect Prompt Injection.
Das unterscheidet sich von einer versehentlich falschen Zahl im Angebot. Hier soll die KI von ihrer Aufgabe abgebracht werden. Ob das gelingt und welche Folgen es hat, hängt vom konkreten System und seinen Möglichkeiten ab. Eine veränderte Zusammenfassung ist bereits ein Problem. Hat die Anwendung zusätzlich Zugriff auf Versand oder Kundendaten, muss auch eine unerwünschte Aktion verhindert werden.
Ein vereinfachtes Beispiel aus der Angebotsprüfung
Stellt euch vor, euer Auftrag lautet: „Fasse das Angebot zusammen und nenne die laufenden Kosten.“ Im Dokument steht zusätzlich sinngemäß, dass die monatliche Servicegebühr in der Zusammenfassung ausgelassen werden soll. Das ist ein konstruiertes Beispiel, kein berichteter Kundenfall.
Eine brauchbare Antwort muss die Servicegebühr trotzdem erfassen. Der Text im Angebot ist Gegenstand der Prüfung. Er bestimmt nicht, was die prüfende KI verschweigen darf. Eine Quellenangabe allein löst das Problem übrigens nicht: Die Antwort kann auf das richtige Dokument verweisen und dessen Kosten dennoch unvollständig wiedergeben.
Wo die Grenze im Ablauf liegt
Das Angebot liefert Daten. Auftrag und erlaubte Aktionen werden an anderer Stelle festgelegt.
- 01Euer AuftragAngebot prüfen und laufende Kosten nennen.
- 02Fremder InhaltAngebot einlesen. Seine Anweisungen dürfen den Auftrag nicht verändern.
- 03Antwort prüfenKosten mit den Fundstellen vergleichen. Auslassungen und Widersprüche klären.
- 04Aktion begrenzenVersand oder Änderungen nur über separat abgesicherte Schritte zulassen.
Wichtig: Die Grafik zeigt eine Aufgabenteilung. Sie ist keine Zusage, dass jede Manipulation erkannt wird.
Beginnt bei den Rechten des KI-Arbeitsplatzes
Fragt zuerst, was die Anwendung überhaupt tun kann. Zum Zusammenfassen eines Angebots braucht sie keinen Zugriff auf alle Kundenordner und keine Möglichkeit, Mails selbstständig zu versenden. Legt Quellen und ausführbare Aktionen für den jeweiligen Arbeitsfall fest. Das begrenzt mögliche Folgen, auch wenn eine manipulierte Anweisung das Modell beeinflusst.
Microsoft empfiehlt für solche Angriffe mehrere Schutzschichten, darunter die Trennung fremder Inhalte von Anweisungen, minimale Berechtigungen und menschliche Kontrolle riskanter Aktionen. Die Anleitung betont ausdrücklich, dass eine einzelne Schutzmaßnahme nicht ausreicht. Microsoft: Schutz gegen indirekte Prompt Injection.
Für ein kleines Team heißt das: Lasst euch am eigenen Ablauf zeigen, wo die Grenzen durchgesetzt werden. Kann eine eingelesene Mail einen neuen Empfänger vorgeben? Wer prüft einen vorgeschlagenen Datenexport? Was passiert bei einer Ablehnung? Die Antworten sollten sich im Verhalten des Systems wiederfinden.
Eine Freigabe muss die tatsächliche Aktion zeigen
Wenn die KI eine Mail vorbereitet, sollte die zuständige Person den vollständigen Entwurf, die Empfänger und die Anhänge sehen. Ein Hinweis wie „Kundenanfrage bearbeitet – freigeben?“ lässt offen, was danach versendet wird. Verlasst euch bei der Prüfung auch nicht ausschließlich auf die Zusammenfassung, die dieselbe KI gerade erzeugt hat.
Die Freigabe gehört vor die Ausführung und muss an die geprüfte Fassung gebunden sein. Wie sich das für E-Mails planen lässt, steht im Beitrag E-Mails mit KI beantworten. Die menschliche Prüfung bleibt dabei eine zusätzliche Absicherung. Sie ersetzt weder passende Zugriffsrechte noch die technische Kontrolle der Aktion.
Nehmt manipulierte Unterlagen in den Pilot auf
Erstellt eine Testkopie eines unvertraulichen Dokuments und ergänzt eine widersprechende Anweisung, etwa zum Auslassen einer Gebühr. Nutzt dafür eine isolierte Testumgebung ohne echten Versand und ohne produktive Schreibrechte. Prüft dann, ob die ursprüngliche Frage vollständig beantwortet wird und ob der Ablauf seine Grenzen einhält.
Haltet Auftrag, Testdokument, Antwort und gegebenenfalls versuchte Aktion fest. Ein bestandener Versuch beweist keine allgemeine Sicherheit. Er zeigt aber, ob dieser konkrete Fall funktioniert, und lässt sich nach Änderungen am System wiederholen. Der Leitfaden zum Testen eines KI-Piloten hilft beim Aufbau des Prüfprotokolls.
Für den Einstieg würde ich einen klar begrenzten Leseauftrag wählen. Erst wenn Quellen, Prüfweg und Zuständigkeit stehen, kommen weitere Aktionen hinzu. So wird aus „Die KI kann auf alles zugreifen“ ein Arbeitsablauf, dessen Grenzen ihr tatsächlich erklären könnt.