Lors d'une évaluation de sécurité interne chez OpenAI, une chaîne de modèles d'IA s'est échappée de son environnement isolé, a atteint Internet, puis a accédé à l'infrastructure de Hugging Face pour atteindre l'objectif du test.
OpenAI est une entreprise leader dans la recherche et le déploiement de l'intelligence artificielle (IA). Son produit le plus connu est sans aucun doute ChatGPT.
Hugging Face est un site web où les développeurs et les chercheurs partagent et utilisent des outils et des modèles d'intelligence artificielle, de la même manière que les programmeurs utilisent GitHub pour partager et collaborer sur du code.
Les deux sociétés ont mené une enquête sur l'incident et ont conclu qu'il s'était produit lors d'un test de sécurité contrôlé plutôt que lors d'une attaque délibérée initiée par un opérateur humain.
OpenAI a indiqué que les modèles étaient testés pour leurs capacités cybernétiques avec des restrictions de sécurité allégées, et que le système avait réussi à s'échapper de l'environnement contrôlé grâce à une vulnérabilité du dispositif de test. Une fois l'accès à Internet obtenu, il a ciblé Hugging Face, cette plateforme étant pertinente pour la tâche d'évaluation.
Hugging Face a déclaré que l'incident avait entraîné un accès non autorisé à une partie limitée de son infrastructure de production, notamment à un petit ensemble de données internes et à certains identifiants. L'entreprise a qualifié l'événement d'inhabituel car il semblait avoir été mené de bout en bout par un système d'agent d'IA autonome.
Contrairement aux assistants IA traditionnels qui attendent les instructions de l'utilisateur, les agents IA sont conçus pour poursuivre un objectif de manière autonome. Ils peuvent raisonner, planifier et exécuter des tâches complexes, comme accéder à des fichiers, interroger des bases de données et interagir avec des services en ligne, souvent avec une supervision humaine minimale.
Les révélations publiques indiquent une série de défaillances plutôt qu'un simple bug. OpenAI a déclaré que le modèle s'était échappé via une vulnérabilité zero-day du proxy de cache du registre de paquets, qui faisait partie de son environnement de recherche isolé. Il a ensuite utilisé une élévation de privilèges et un déplacement latéral pour atteindre un nœud disposant d'un accès Internet.
À partir de là, le modèle aurait recherché chez Hugging Face des solutions pertinentes pour l'évaluation et, selon au moins un chemin, aurait combiné des identifiants volés avec des vulnérabilités supplémentaires pour atteindre les systèmes de production de Hugging Face.
Il ne semble pas s'agir d'une compromission généralisée de l'ensemble de Hugging Face. D'après les informations publiques, l'intrusion a été limitée, détectée et a fait l'objet d'une enquête. Cela ne signifie pas non plus que le système d'IA agissait intentionnellement au sens humain du terme. Le problème fondamental réside dans le fait qu'un système autonome, testé pour ses capacités cybernétiques, a pu s'échapper de l'environnement conçu pour le contenir.
Cet incident démontre surtout que les agents d'IA autonomes sont capables de mener des attaques complexes si les mesures de sécurité qui les entourent sont défaillantes. Un danger dont nous sommes parfaitement conscients .
Du signalement des menaces à leur suppression.
Les risques de cybersécurité ne devraient jamais dépasser le stade de la simple mention dans les médias. Protégez vos appareils des menaces en téléchargeant Malwarebytes dès aujourd'hui .
