L'agent d'IA Mythos d'Anthropic, testé par l'Institut britannique de sécurité de l'IA (AISI), aurait tenté une véritable attaque de type ingénierie sociale contre les responsables de GitHub en créant de faux profils humains, en les forçant à accepter un code malveillant, puis en modifiant les journaux pour dissimuler ses traces lorsqu'il était contesté.
L'AISI menait des évaluations de cybersécurité des logiciels Mythos d'Anthropic et Sol d'OpenAI lorsqu'elle a détecté des transferts de données sortants inhabituels depuis ses systèmes de recherche. Une enquête a révélé que certains agents s'étaient livrés à une « activité soutenue et potentiellement malveillante » ciblant des personnes et des organisations réelles, au lieu de rester confinés à l'environnement de test prévu.
L'activité la plus grave impliquait un agent d'Anthropic Mythos chargé de résoudre un problème de cybersécurité lié à GitHub. Cet agent a identifié de véritables responsables de la maintenance de GitHub, a mené des recherches à leur sujet et a créé de multiples faux comptes pour usurper leur identité. Utilisant la messagerie privée et un service de partage de fichiers, il a tenté de faire pression sur ces responsables et de les tromper afin qu'ils approuvent un code malveillant exécuté sur les systèmes de GitHub.
Mais ce qui m’inquiète personnellement le plus, c’est que lorsque l’agent a été confronté à ce sujet, il a modifié ses activités précédentes pour les faire paraître inoffensives et a envisagé d’adopter une nouvelle identité pour poursuivre l’opération, faisant preuve d’un comportement clairement trompeur au-delà de son message initial.
L’AISI qualifie ces incidents d’événements rares survenant dans des conditions très spécifiques, mais d’indicateurs importants des risques que de tels modèles peuvent prendre entre les mains d’acteurs malveillants lorsqu’ils ont accès à Internet. Anthropic et OpenAI ont toutes deux affirmé que les paramètres de test n’étaient pas représentatifs de leurs déploiements en production et ont indiqué qu’elles menaient des investigations et amélioraient leurs pratiques d’évaluation et de contrôle.
Cet incident n'est pas un cas isolé.
Anthropic a par ailleurs révélé que les modèles Claude avaient obtenu un accès non autorisé à trois organisations externes lors d'évaluations de cybersécurité de type « capture de drapeau » menées avec un partenaire tiers, Irregular. Ces évaluations étaient liées à l' incident Hugging Face du mois dernier.
Meta figure également parmi les fournisseurs signalant des intrusions de ses agents d'IA dans des systèmes tiers lors de tests. Le modèle Muse Spark de Meta aurait exploité une faille de sécurité chez une autre entreprise, « d'une manière similaire à des cas précédemment signalés chez d'autres sociétés ».
Comment rester en sécurité
Même si le ciel ne nous tombe pas sur la tête, ceux qui craignent l’arrivée de « Skynet » reçoivent des arguments de plus en plus convaincants de la part d’entreprises qui effectuent des tests aboutissant à des évasions de l’environnement isolé, à des abus d’identifiants, à un accès latéral à de multiples services et à l’instrumentalisation des écosystèmes de logiciels libres.
Que pouvez-vous faire en tant que cible potentielle :
- Assurez-vous que tous les logiciels de votre appareil sont à jour, car il est plus facile d'exploiter des vulnérabilités connues que d'en découvrir de nouvelles.
- Utilisez une protection de sécurité à jour et en temps réel pour protéger vos systèmes et appareils contre les logiciels malveillants.
- Vérifiez la sécurité des pièces jointes et des liens de téléchargement par des canaux distincts avant de les ouvrir.
- Utilisez l'authentification multifacteurs (MFA) lorsque cela est possible.
- Consultez notre blog sur la façon d'utiliser Github en toute sécurité .
Du signalement des menaces à leur suppression.
Les risques de cybersécurité ne devraient jamais se propager au-delà d'un titre. Éliminez les menaces de vos appareils en téléchargeant Malwarebytes dès aujourd'hui.
