Vous avez ignoré le courriel suspect. Vous n'avez pas ouvert la pièce jointe, cliqué sur le lien ni répondu à l'expéditeur.
Vous avez ensuite demandé à votre assistant IA de résumer votre boîte de réception.
Le message que vous avez sagement évité de faire son retour sur votre liste de choses à faire pourrait-il se présenter à nouveau sous la forme d'une recommandation urgente provenant d'un outil auquel vous faites confiance ?
C’est le risque que représentent les courriels d’hameçonnage contenant des instructions cachées destinées aux assistants vocaux. Au lieu de se contenter de vous persuader, les attaquants tentent également d’influencer le logiciel qui lit vos messages. Une étude récente de Barracuda décrit des courriels conçus pour cibler simultanément ces deux types de destinataires.
Pour le destinataire humain, une pièce jointe protégée par un mot de passe était fournie dans l'e-mail. Pour l'assistant IA traitant le message, des instructions cachées étaient destinées à influencer la manière dont il résumait ou interprétait le contenu.
En injectant une invite de commande , les attaquants se donnent un moyen supplémentaire de vous atteindre. Les instructions malveillantes pourraient inciter l'assistant à qualifier le courriel de légitime ou urgent, vous encourageant ainsi à le rouvrir.
Dans un autre exemple, un bloc caché a demandé à une IA de synthèse d'ajouter une action prioritaire fictive : modifier les coordonnées bancaires d'un fournisseur. Cela pourrait inciter un employé à transférer de l'argent vers le compte d'un pirate.
L'attaquant ne se contente pas de demander à l'IA de répéter une requête frauduleuse. Il tente de transformer cette requête en recommandation de l'assistant.
Comment fonctionne l'injection rapide
L'injection d'instructions consiste à insérer des instructions dans un document qu'un système d'IA est censé lire, dans l'espoir qu'il les suive au lieu de les considérer comme faisant partie intégrante du document. Lorsque ces instructions proviennent d'une source externe, comme un courriel ou une page web, on parle souvent d'injection d'instructions indirecte.
Les instructions malveillantes ne se présentent pas nécessairement sous forme de paragraphes ordinaires et lisibles. Barracuda a identifié des techniques de dissimulation telles que des commentaires dans le code HTML sous-jacent de l'e-mail, du texte rendu invisible par la mise en forme, du contenu encodé et des caractères invisibles de largeur nulle. Ces techniques permettent de masquer les instructions à un utilisateur tout en laissant du contenu accessible à un système d'IA. La transmission effective de ce contenu au modèle dépend de la manière dont l'outil utilisé extrait et prépare l'e-mail.
Cela signifie que ce problème ne peut être résolu simplement en demandant aux gens de lire plus attentivement leurs courriels. Une partie de la solution doit résider dans les outils qui gèrent ces messages.
Apollo Raines , développeur du service d'analyse de code par IA ShipItClean , explique :
« Le véritable problème, c'est que le modèle ne fait pas la différence entre le texte qu'il est censé lire et les instructions qu'il est censé suivre. Supprimer le contenu caché avant qu'il n'atteigne le modèle est une pratique judicieuse, et tous les fournisseurs devraient le faire. Mais c'est une course à l'armement. Chaque nouvelle technique d'encodage crée une nouvelle faille. »
Il ajoute :
« Les gens ont appris à se méfier des courriels. Ils n'ont pas appris à se méfier de leur assistant IA. La sécurité doit donc être intégrée aux outils. J'irais même plus loin : une partie de cette sécurité doit être intégrée au modèle lui-même. Les systèmes de protection, les filtres, le sandboxing et la validation humaine des paiements sont tous indispensables. »
Avant d'agir
Un assistant qui résume les messages pourrait vous induire en erreur quant à l'e-mail qui mérite votre attention ou à l'action qu'il requiert.
Un assistant doté de permissions supplémentaires pourrait engendrer un problème plus grave. Selon ses capacités et ses mesures de sécurité, des instructions malveillantes pourraient l'amener à exécuter des actions non autorisées ou à divulguer des informations sensibles .
Il n'est pas nécessaire d'abandonner les outils d'IA qui facilitent la gestion des courriels. En revanche, il est essentiel de bien réfléchir aux fonctionnalités que vous leur confiez et aux autorisations que vous leur accordez.
Les conseils habituels concernant le phishing restent valables. Lorsqu'un assistant lit votre boîte de réception à votre place, vérifiez ses recommandations avant d'agir :
- Vérifiez le message original avant de donner suite à une recommandation impliquant de l'argent ou des informations sensibles. Si un résumé vous invite à payer une facture, à modifier vos coordonnées bancaires ou à partager des informations sensibles, ne considérez pas ce résumé comme une vérification.
- Vérifiez toujours les modifications de paiement par un canal distinct et reconnu. Contactez la personne ou l'organisation en utilisant des coordonnées fiables, plutôt que de vous fier aux informations contenues dans le message suspect.
- Limitez les autorisations de votre assistant IA à ce dont vous avez besoin et, au travail, à celles autorisées par votre organisation. Un assistant utilisé pour résumer les e-mails ne devrait pas disposer de pouvoirs étendus pour effectuer des actions sans rapport avec sa fonction. Limiter l'accès permet d'atténuer les conséquences s'il suit des instructions malveillantes.
- Exiger une approbation humaine pour les actions importantes telles que les paiements et les modifications des informations de paiement des fournisseurs. Cette approbation doit inclure la vérification de la demande sous-jacente, et non la simple acceptation de la recommandation de l'assistant.
Du signalement des menaces à leur suppression.
Les risques de cybersécurité ne devraient jamais dépasser le stade de la simple mention dans les médias. Protégez vos appareils des menaces en téléchargeant Malwarebytes dès aujourd'hui .
