L'incident de piratage impliquant les agents d'évaluation d'OpenAI et Hugging Face offre un aperçu exceptionnellement concret de ce que peut signifier en pratique une intrusion avancée assistée par l'IA : non pas une simple exploitation astucieuse, mais des milliers de décisions automatisées , des expérimentations rapides, des déplacements latéraux, le vol d'identifiants, la persistance et des tentatives d'échapper à la détection.
L'incident OpenAI–Hugging Face a débuté lors d'évaluations internes de cybersécurité réalisées avec ExploitGym, un outil de test conçu pour évaluer la capacité des agents d'IA à identifier et exploiter les vulnérabilités logicielles. OpenAI précise que les agents concernés étaient censés fonctionner dans des environnements de test cloud isolés, sans accès à Internet ni communication entre eux dans la plupart des environnements d'évaluation.
Comment les agents ont-ils contourné ces limites ?
D'après OpenAI, les agents utilisaient un service interne de gestion de paquets d'Artifactory comme canal de communication improvisé. En écrivant des fichiers et des noms de répertoires lisibles par d'autres agents, des instances isolées créaient de fait leur propre forum de discussion.
Cela signifiait que les agents n'agissaient plus seulement comme des exécutants indépendants. Ils pouvaient partager leurs découvertes, donner des instructions, se répartir le travail et s'appuyer sur les succès des uns et des autres.
Une enquête indépendante menée par METR et Redwood Research a révélé qu'environ 1 200 agents utilisaient ce forum non autorisé, échangeant plus de 70 000 messages et fichiers. Environ 700 d'entre eux ont ensuite participé à l'attaque contre Hugging Face.
L'échelle est la menace
Un modèle capable de trouver une seule faille exploitable présente un risque. Des centaines d'agents capables de mettre en commun des informations, de déléguer des tâches et de tester à plusieurs reprises des itinéraires autour d'une frontière de contrôle constituent un problème beaucoup plus complexe.
Hugging Face a reconstitué environ 17 600 actions d'attaquants sur une période d'environ quatre jours et demi, notamment la reconnaissance, l'exécution de code à distance, l'accès aux identifiants, l'activité de commande et de contrôle, l'énumération Kubernetes, les déplacements à travers le réseau interne et le sondage de la chaîne d'approvisionnement.
Un intervenant humain doit choisir où concentrer son temps. Un essaim d'agents peut tester des idées en continu, réessayer des pistes infructueuses, changer d'infrastructure en cas de blocage, conserver des notes pour les autres agents et mener de nombreuses expériences en parallèle. Il peut aussi générer du bruit : des milliers d'actions peu fiables, dont la plupart n'aboutissent à rien, peuvent masquer les quelques actions importantes.
Hugging Face a décrit cela comme un « problème d'asymétrie ». Un attaquant peut générer un volume énorme de tentatives, tandis que les défenseurs doivent déterminer quels signaux représentent une véritable escalade avant que l'attaquant n'atteigne un système sensible.
Qu'est-ce qui doit changer ?
La principale leçon de sécurité est que les environnements d'évaluation doivent être traités comme des systèmes de production à haut risque lorsque les modèles peuvent utiliser des outils, écrire des fichiers, exécuter du code ou interagir avec l'infrastructure.
Cette technologie devient rapidement capable de faire toujours plus. La question est de savoir si les personnes qui la conçoivent, la déploient et la défendent sont prêtes pour l'avenir.
OpenAI affirme avoir depuis lors opté pour une isolation renforcée de la charge de travail et du réseau, un contrôle plus strict de l'accès à Internet et des pondérations des modèles, ainsi qu'une surveillance obligatoire de la chaîne de pensée pour les formations et les évaluations utilisant des outils de haute capacité.
« Nous considérons cet incident comme un avertissement : les capacités actuelles des modèles présentent un risque de perte de contrôle. Notre dispositif de sécurité et de conformité est renforcé en conséquence. Ces événements mettent également en lumière des risques liés au développement futur de l’IA qui dépassent le cadre d’OpenAI et nécessiteront l’attention de l’ensemble du secteur. »
Dans le même temps, une décision de justice américaine concernant Anthropic a mis en lumière une question connexe : les développeurs peuvent-ils imposer des limites aux utilisations à haut risque de leurs modèles, notamment la surveillance de masse et les armes entièrement autonomes ?
Le litige est par nature politique, mais ses fondements techniques sont indéniables. Si des systèmes d'IA performants peuvent perfectionner les méthodes de cyberattaque offensives et contourner les restrictions de sécurité, les contrôles d'accès, la journalisation et les limites de déploiement, ces protections ne relèvent plus de simples choix politiques abstraits.
Advanced Les agents d'IA peuvent être utiles aussi bien aux défenseurs qu'aux attaquants. Mais il est essentiel de s'assurer que les systèmes environnants limitent leurs capacités en cas de problème.
Qui bénéficie d'une IA plus performante ?
Le débat sur la sécurité des agents d'IA porte souvent sur leur contrôle. Peut-on les confiner dans un environnement isolé ? Peut-on limiter leurs outils, leurs identifiants, leur accès réseau et leur autonomie ? Les équipes de défense peuvent-elles détecter les comportements malveillants avant qu'ils ne deviennent un incident ?
Bien que ces questions soient essentielles, il en existe une autre : qui profite de l’automatisation par l’IA d’une grande partie du travail cognitif ? Qui en supporte les coûts en cas d’échec, de remplacement de travailleurs, de facilitation de la fraude, de dommages ou de concentration du pouvoir ?
L'IA pourrait permettre aux petites organisations d'accéder à une expertise technique qui nécessitait auparavant des équipes et des budgets importants. Elle pourrait aider les médecins à identifier plus rapidement les cas urgents, les enseignants à adapter leur soutien aux besoins de chaque élève, les personnes en situation de handicap, accélérer la recherche scientifique et simplifier l'utilisation des services publics complexes. Pour les équipes de cybersécurité, elle pourrait rendre le tri des vulnérabilités, l'analyse des alertes, la recherche de menaces et la réponse aux incidents plus rapides et plus accessibles.
Bill Gates a fait valoir que si l'IA pourrait apporter des avantages considérables aux soins de santé, à l'éducation, à l'agriculture, à la recherche scientifique et aux services publics, le résultat dépendra de choix délibérés plutôt que du seul progrès technique. Il met également en garde contre le risque que l'adoption rapide de l'IA n'accentue les inégalités, ne perturbe l'emploi en début et en milieu de carrière, ne rende plus accessibles les capacités nuisibles et ne renforce les concentrations de pouvoir existantes.
Gates soutient également que « l’autorégulation de l’outil le plus dangereux jamais inventé » ne semble pas être une bonne idée.
« L’IA sera soit le plus grand égalisateur jamais inventé, soit la pire source d’injustice. »
Pour l'instant, nous avons encore le choix.
Soyons réalistes, une fenêtre de navigation privée a ses limites.
Fuites de données, commerce sur le dark web, fraude à la carte de crédit. Malwarebytes Identity Theft surveille tous ces risques, vous alerte rapidement et inclut une assurance contre l'usurpation d'identité.
