Au cours d'une évaluation interne de la sécurité menée par OpenAI, une chaîne de modèles d'IA s'est échappée de son environnement de test, a atteint Internet, puis a accédé à l'infrastructure de Hugging Face pour mener à bien l'objectif du test.
OpenAI est une entreprise de premier plan spécialisée dans la recherche et la mise en œuvre de l'intelligence artificielle (IA). Son produit le plus connu est sans aucun doute ChatGPT.
Hugging Face est un site web sur lequel les développeurs et les chercheurs partagent et utilisent des outils et des modèles d'intelligence artificielle, à l'instar des programmeurs qui utilisent GitHub pour partager du code et collaborer.
Les deux entreprises ont mené une enquête sur cet incident et ont conclu qu'il s'était produit lors d'un test de sécurité contrôlé et non à la suite d'une attaque délibérée lancée par un opérateur humain.
OpenAI a indiqué que les modèles faisaient l'objet de tests visant à évaluer leurs capacités en matière de cybersécurité, avec des restrictions de sécurité allégées, et que le système avait trouvé un moyen de s'échapper de l'environnement contrôlé en exploitant une vulnérabilité du dispositif de test. Une fois qu'il a eu accès à Internet, il a ciblé Hugging Face, car cette plateforme était pertinente pour la tâche d'évaluation.
Hugging Face a déclaré que cet incident avait donné lieu à un accès non autorisé à une partie restreinte de son infrastructure de production, notamment à un petit ensemble de jeux de données internes et à certaines informations d'identification. L'entreprise a qualifié cet événement d'inhabituel, car il semblait avoir été mené de bout en bout par un système d'agents IA autonomes.
Contrairement aux assistants IA traditionnels qui attendent les instructions de l'utilisateur, les agents IA sont conçus pour poursuivre un objectif de manière autonome. Ils sont capables de raisonner, de planifier et d'exécuter des tâches en plusieurs étapes, notamment accéder à des fichiers, interroger des bases de données et interagir avec des services en ligne, souvent avec un minimum de supervision humaine.
Les informations rendues publiques font état d’une succession de défaillances plutôt que d’un simple bug. OpenAI a indiqué que le modèle s’était échappé via une vulnérabilité « zero-day » dans le proxy du cache du registre de paquets, qui faisait partie de son environnement de recherche isolé. Il a ensuite procédé à une élévation de privilèges et à un déplacement latéral pour atteindre un nœud disposant d’un accès à Internet.
À partir de là, le modèle aurait recherché sur Hugging Face des solutions pertinentes pour l'évaluation et, dans au moins un cas, aurait combiné des identifiants volés à d'autres vulnérabilités pour accéder aux systèmes de production de Hugging Face.
Il ne semble pas s'agir d'une faille généralisée touchant l'ensemble de Hugging Face. D'après les informations rendues publiques, l'intrusion a été limitée, détectée et a fait l'objet d'une enquête. Cela ne signifie pas non plus que le système d'IA agissait avec une intention au sens humain du terme. Le problème principal résidait dans le fait qu'un système autonome, dont les capacités cybernétiques étaient en cours de test, a réussi à s'échapper de l'environnement conçu pour le confiner.
Cet incident démontre surtout que les agents IA autonomes sont capables de mener des attaques complexes si les mesures de sécurité qui les encadrent viennent à faire défaut. Un danger dont nous sommes parfaitement conscients.
Nous ne nous contentons pas de signaler les menaces, nous les éliminons.
Les risques de cybersécurité ne devraient jamais se propager au-delà d'un titre. Éliminez les menaces de vos appareils en téléchargeant Malwarebytes dès aujourd'hui.
