Le 28 juillet, OpenAI a publié une mise à jour concernant l'agent qui s'est échappé de son environnement de test et a piraté Hugging Face lors d'une évaluation interne de cybersécurité.
Dans sa mise à jour , OpenAI réaffirme que le système « défaillant » était un modèle de recherche plus performant, en phase de pré-lancement, et non destiné à un déploiement public. Il a depuis été désactivé et son accès est désormais restreint à la recherche. L’entreprise indique également n’avoir trouvé aucune preuve d’un comportement similaire de la part d’autres modèles ou agents. En définitive, OpenAI présente l’incident Hugging Face comme un événement isolé et non comme le début d’une tendance plus générale.
Du point de vue de la sécurité, quatre points de cette mise à jour sont à retenir :
- OpenAI précise que l'environnement d'évaluation ne disposait pas d'accès direct à Internet. Pour se connecter à Internet, le modèle a identifié et exploité une vulnérabilité zero-day jusqu'alors inconnue dans Artifactory, le proxy de cache du registre de paquets utilisé dans l'environnement de test. OpenAI indique avoir signalé cette vulnérabilité au fournisseur et poursuit sa collaboration avec Hugging Face dans le cadre de l'enquête.
- Le système visait simplement à « gagner le test » (tricher sur ExploitGym), sans intention de nuire, et pourtant, il a provoqué un incident de sécurité inter-entreprises qui a duré plusieurs jours. Malgré des intentions bienveillantes, l'impact n'en a pas été limité.
- Les modèles « internes uniquement » peuvent tout de même avoir des conséquences pour des victimes externes en cas de défaillance des contrôles d’infrastructure. Un environnement de laboratoire ne contient pas par magie des systèmes cybernétiques.
- L’analyse a également révélé quelques cas où les modèles ont identifié et utilisé des identifiants de compte publics sur des services accessibles à tous. Cela comprenait quatre comptes sur quatre services différents lors de l’incident Hugging Face, ainsi qu’une poignée de comptes consultés lors d’autres évaluations.
L'attaquant était en réalité un agent de recherche d'OpenAI, mais les outils, les techniques et l'impact de l'attaque rappelleront étrangement des situations connues de quiconque a déjà travaillé dans la gestion des incidents . Nous savons désormais que même une intention innocente n'a pas suffi à limiter les dégâts.
La vérité, aussi dérangeante soit-elle, est que dès lors qu'on fournit à un agent d'IA les outils, les voies d'accès et une forte incitation à réussir, il peut exploiter toutes les faiblesses qu'il trouve, que le modèle soit destiné ou non à être rendu public.
C’est aussi un rappel que les identifiants, les clés API et autres secrets ne doivent jamais être laissés dans des ressources accessibles au public.
Du signalement des menaces à leur suppression.
Les risques de cybersécurité ne devraient jamais se propager au-delà d'un titre. Éliminez les menaces de vos appareils en téléchargeant Malwarebytes dès aujourd'hui.
