Je hebt de verdachte e-mail genegeerd. Je hebt de bijlage niet geopend, niet op de link geklikt en niet op de afzender gereageerd.
Vervolgens vroeg je je AI-assistent om je inbox samen te vatten.
Zou het bericht dat je wijselijk hebt genegeerd, toch weer op je takenlijst terecht kunnen komen – maar dit keer als een dringende aanbeveling van een tool die je vertrouwt?
Dat is het risico van phishingmails met verborgen instructies voor AI-assistenten. In plaats van alleen jou te overtuigen, proberen aanvallers ook de software te beïnvloeden die je berichten leest. Recent onderzoek van Barracuda beschrijft e-mails die ontworpen zijn om beide doelgroepen tegelijk te bereiken.
Voor de menselijke ontvanger was er een met een wachtwoord beveiligde bijlage, waarvan het wachtwoord in de e-mail was vermeld. Voor een AI-assistent die het bericht verwerkte, waren er verborgen instructies die bedoeld waren om te beïnvloeden hoe de assistent de inhoud samenvatte of verwerkte.
Door een promptinjectie toe te voegen, creëren aanvallers een extra manier om u te bereiken. De kwaadwillige instructies kunnen proberen de assistent de e-mail als legitiem of urgent te laten beschrijven, waardoor u wordt aangemoedigd deze opnieuw te openen.
In een ander voorbeeld gaf een verborgen codeblok een samenvattende AI de opdracht om een nep-prioriteitsactie toe te voegen: de betalingsgegevens van een leverancier wijzigen. Dit zou ertoe kunnen leiden dat een medewerker geld overmaakt naar de rekening van een aanvaller.
De aanvaller vraagt de AI niet simpelweg om een frauduleus verzoek te herhalen. Ze proberen dat verzoek om te zetten in een aanbeveling van de assistent.
Hoe werkt een snelle injectie?
Bij promptinjectie worden instructies ingevoegd in materiaal dat een AI-systeem moet lezen, in de hoop dat het systeem die instructies opvolgt in plaats van ze als onderdeel van het materiaal te beschouwen. Wanneer de instructies via een externe bron binnenkomen, zoals een e-mail of webpagina, spreekt men vaak van indirecte promptinjectie.
De kwaadwillige instructies hoeven niet per se als gewone, leesbare alinea's te verschijnen. Barracuda identificeerde verbergtechnieken zoals commentaar in de onderliggende HTML-code van de e-mail, tekst die onzichtbaar is gemaakt door middel van styling, gecodeerde inhoud en onzichtbare tekens met een breedte van nul. Deze technieken kunnen instructies verbergen voor iemand die het bericht leest, terwijl de inhoud wel beschikbaar blijft voor een AI-systeem om te verwerken. Of die inhoud het model daadwerkelijk bereikt, hangt af van hoe de betreffende tool de e-mail extraheert en voorbereidt.
Dat betekent dat dit probleem niet simpelweg opgelost kan worden door mensen te vragen hun e-mails beter te controleren. Een deel van de beveiliging moet in de tools zitten die deze berichten verwerken.
Apollo Raines , ontwikkelaar van de AI-codebeoordelingsservice ShipItClean , legt uit:
“Het echte probleem is dat het model geen onderscheid kan maken tussen tekst die het moet lezen en instructies die het moet opvolgen. Het verwijderen van verborgen inhoud voordat deze het model bereikt, is de moeite waard en elke leverancier zou dit moeten doen. Maar het is een wapenwedloop. Elke nieuwe coderingstruc is een nieuw lek.”
Hij voegt eraan toe:
“Mensen zijn e-mail gaan wantrouwen. Ze zijn hun AI-assistent echter nog niet gaan wantrouwen. De beveiliging moet dus in de tools zelf zitten. Ik zou zelfs nog een stap verder gaan: een deel ervan moet in het model zelf zitten. Wrappers, filters, sandboxing en menselijke goedkeuring van betalingen zijn allemaal noodzakelijk.”
Voordat je actie onderneemt
Een assistent die berichten samenvat, kan je misleiden over welke e-mail aandacht verdient of welke actie vereist is.
Een assistent met extra bevoegdheden kan een ernstiger probleem veroorzaken. Afhankelijk van de mogelijkheden en beveiligingsmaatregelen, kunnen kwaadwillende instructies proberen de assistent ongeautoriseerde acties te laten uitvoeren of gevoelige informatie te laten onthullen.
Je hoeft AI-tools die je helpen met e-mail niet te laten vallen. Maar je moet wel goed nadenken over wat je ze laat doen en welke rechten je ze geeft.
Het bekende phishingadvies blijft van kracht. Wanneer een assistent namens u uw inbox leest, controleer dan de aanbevelingen voordat u actie onderneemt:
- Controleer het oorspronkelijke bericht voordat u een aanbeveling opvolgt die betrekking heeft op geld of gevoelige informatie. Als een samenvatting u vraagt een factuur te betalen, accountgegevens te wijzigen of gevoelige informatie te delen, beschouw de samenvatting zelf dan niet als een bevestiging.
- Controleer betalingswijzigingen altijd via een apart, betrouwbaar kanaal. Neem contact op met de persoon of organisatie via gegevens die u al vertrouwt, in plaats van af te gaan op de informatie in het verdachte bericht.
- Beperk de machtigingen van je AI-assistent tot wat je nodig hebt en, op je werk, tot wat je organisatie toestaat. Een assistent die gebruikt wordt om e-mails samen te vatten, zou geen brede bevoegdheden moeten hebben om ongerelateerde acties uit te voeren. Door de toegang te beperken, kun je de gevolgen verminderen als de assistent kwaadwillige instructies opvolgt.
- Vereis menselijke goedkeuring voor acties met grote impact, zoals betalingen en wijzigingen in leveranciersbetalingsgegevens. De goedkeuring moet een controle van het onderliggende verzoek omvatten, en niet simpelweg het accepteren van de aanbeveling van de assistent.
Van het melden van bedreigingen tot het verwijderen ervan.
Cyberbeveiligingsrisico's mogen zich nooit verder verspreiden dan een krantenkop. Houd bedreigingen van uw apparaten door Malwarebytes vandaag nog te downloaden.
