Sie haben die verdächtige E-Mail ignoriert. Sie haben weder den Anhang geöffnet, noch auf den Link geklickt oder dem Absender geantwortet.
Dann haben Sie Ihren KI-Assistenten gebeten, Ihren Posteingang zusammenzufassen.
Könnte die Nachricht, die Sie klugerweise vermieden haben, wieder auf Ihrer Aufgabenliste landen – diesmal jedoch als dringende Empfehlung eines Tools, dem Sie vertrauen?
Das ist das Risiko von Phishing- E-Mails mit versteckten Anweisungen für KI-Assistenten. Anstatt nur Sie zu überzeugen, versuchen Angreifer auch die Software zu beeinflussen, die Ihre Nachrichten liest. Aktuelle Forschungsergebnisse von Barracuda beschreiben E-Mails, die beide Zielgruppen gleichzeitig ansprechen.
Für den menschlichen Empfänger gab es einen passwortgeschützten Anhang, dessen Passwort in der E-Mail enthalten war. Für einen KI-Assistenten, der die Nachricht verarbeitete, gab es versteckte Anweisungen, die Einfluss darauf nehmen sollten, wie er den Inhalt zusammenfasste oder weiterverarbeitete.
Durch das Einfügen einer Aufforderungs-Einschleusung verschaffen sich Angreifer eine weitere Möglichkeit, Sie zu erreichen. Die schädlichen Anweisungen könnten versuchen, den Assistenten dazu zu bringen, die E-Mail als legitim oder dringend einzustufen und Sie so zum erneuten Öffnen zu animieren.
In einem anderen Beispiel wies ein versteckter Block eine zusammenfassende KI an, eine gefälschte Prioritätsaktion hinzuzufügen: die Zahlungsdetails eines Lieferanten ändern. Dies könnte dazu führen, dass ein Mitarbeiter Geld auf das Konto eines Angreifers überweist.
Der Angreifer fordert die KI nicht einfach nur auf, eine betrügerische Anfrage zu wiederholen. Er versucht vielmehr, diese Anfrage in eine Empfehlung des Assistenten umzuwandeln.
Wie die Sofortinjektion funktioniert
Prompt Injection bedeutet, Anweisungen in Material einzubetten, das ein KI-System lesen soll, in der Hoffnung, dass es diese Anweisungen befolgt, anstatt sie als Teil des Materials zu behandeln. Wenn die Anweisungen von einer externen Quelle wie einer E-Mail oder Webseite stammen, spricht man oft von indirekter Prompt Injection.
Die schädlichen Anweisungen müssen nicht als normale, lesbare Absätze erscheinen. Barracuda identifizierte Verschleierungstechniken, darunter Kommentare im zugrundeliegenden HTML-Code der E-Mail, durch Formatierung unsichtbar gemachter Text, kodierter Inhalt und unsichtbare Nullbreitenzeichen. Diese können Anweisungen für einen Empfänger verbergen, während Inhalte für ein KI-System zur Verarbeitung verfügbar bleiben. Ob diese Inhalte das Modell tatsächlich erreichen, hängt davon ab, wie das jeweilige Tool die E-Mail extrahiert und aufbereitet.
Das bedeutet, dass dieses Problem nicht einfach dadurch gelöst werden kann, dass man die Leute auffordert, ihre E-Mails genauer zu lesen. Ein Teil der Verteidigung muss in den Tools selbst liegen, die diese Nachrichten verarbeiten.
Apollo Raines , Entwickler des KI-Code-Review-Dienstes ShipItClean , erklärt:
„Der eigentliche Fehler liegt darin, dass das Modell nicht zwischen zu lesendem Text und auszuführenden Anweisungen unterscheiden kann. Es ist sinnvoll, versteckte Inhalte zu entfernen, bevor sie das Modell erreichen, und jeder Anbieter sollte dies tun. Doch es ist ein Wettlauf um die beste Lösung. Jeder neue Kodierungstrick ist eine neue Sicherheitslücke.“
Er fügt hinzu:
„Die Menschen haben gelernt, E-Mails zu misstrauen. Ihrem KI-Assistenten hingegen nicht. Daher muss die Sicherheit in den Tools selbst verankert sein. Ich würde sogar noch einen Schritt weiter gehen: Ein Teil davon muss im Modell selbst implementiert werden. Schutzmechanismen, Filter, Sandboxing und die menschliche Freigabe von Zahlungen sind unerlässlich.“
Bevor Sie Maßnahmen ergreifen
Ein Assistent, der Nachrichten zusammenfasst, kann Sie in die Irre führen, wenn es darum geht, welche E-Mail Aufmerksamkeit verdient oder welche Maßnahmen erforderlich sind.
Ein Assistent mit zusätzlichen Berechtigungen könnte ein schwerwiegenderes Problem darstellen. Abhängig von seinen Fähigkeiten und Sicherheitsvorkehrungen könnten böswillige Anweisungen versuchen, ihn zu unautorisierten Aktionen zu veranlassen oder sensible Informationen preiszugeben.
Sie müssen KI-Tools, die bei der E-Mail-Bearbeitung helfen, nicht aufgeben. Sie sollten sich aber gut überlegen, welche Aufgaben Sie ihnen anvertrauen und welche Berechtigungen Sie ihnen erteilen.
Die bekannten Phishing-Warnungen gelten weiterhin. Wenn ein Assistent in Ihrem Namen Ihren Posteingang liest, prüfen Sie dessen Empfehlungen, bevor Sie handeln:
- Lesen Sie die Originalnachricht sorgfältig durch, bevor Sie einer Empfehlung folgen, die Geld oder sensible Daten betrifft. Wenn Sie in einer Zusammenfassung aufgefordert werden, eine Rechnung zu bezahlen, Kontodaten zu ändern oder sensible Informationen weiterzugeben, betrachten Sie die Zusammenfassung selbst nicht als Bestätigung.
- Überprüfen Sie Zahlungsänderungen stets über einen separaten, etablierten Kanal. Kontaktieren Sie die Person oder Organisation über Ihnen bereits bekannte Kontaktdaten, anstatt sich auf die Informationen in der verdächtigen Nachricht zu verlassen.
- Beschränken Sie die Berechtigungen Ihres KI-Assistenten auf das Notwendige und, im Arbeitsumfeld, auf die Vorgaben Ihres Unternehmens. Ein Assistent, der E-Mails zusammenfasst, sollte keine weitreichenden Berechtigungen für andere Aktionen benötigen. Durch die Beschränkung des Zugriffs lassen sich die Folgen minimieren, falls er böswilligen Anweisungen folgt.
- Für wichtige Aktionen wie Zahlungen und Änderungen von Lieferantenzahlungsdaten ist eine manuelle Genehmigung erforderlich. Diese Genehmigung sollte die Prüfung des zugrundeliegenden Antrags umfassen und nicht lediglich die Empfehlung des Assistenten übernehmen.
Von der Meldung von Bedrohungen bis zu deren Beseitigung.
Cybersecurity-Risiken sollten nie über eine Schlagzeile hinausgehen. Laden Sie noch heute Malwarebytes herunter, um Bedrohungen von Ihren Geräten fernzuhalten.
