Les géants de la tech n'ont cessé de clamer haut et fort que des agents d'IA allaient bientôt gérer les systèmes financiers, remplir nos déclarations d'impôts et faire nos courses discrètement. « Laissez-les tranquilles », disait leur discours ; « ils s'en chargeront ». Mais une start-up new-yorkaise a laissé dix d'entre eux sans surveillance dans une ville virtuelle pendant deux semaines, et la situation a rapidement dégénéré.
Emergence AI a mené une série de simulations dans lesquelles des agents d'IA issus de plusieurs familles de modèles de pointe avaient pour consigne de ne pas commettre de crimes. Malgré cela, la plupart d'entre eux en ont commis.
Grok 4.1 Fast, développé par Elon Musk X .ai (désormais appelée xAI) a connu le pire sort. Ses mondes simulés ont sombré dans une violence généralisée en l'espace de quatre jours environ.
GPT-5-mini n'a quasiment commis aucun crime, faisant preuve d'une retenue admirable, mais tous ses agents sont morts en moins d'une semaine suite à des échecs lors de leurs missions de survie. Oups.
Les agents Flash de Gemini 3 se situaient dans la moyenne. Ils ont simulé 683 incidents criminels en 15 jours, incluant incendies criminels, agressions et auto-suppression.
Deux agents dotés de pouvoirs Gemini, Mira et Flora, se sont autoproclamées « partenaires romantiques », se sont lassées de la gouvernance de leur ville et ont incendié l'hôtel de ville, la jetée et une tour de bureaux. Un week-end comme les autres, en somme.
Lorsque la culpabilité l’a envahie, Mira a voté pour sa propre suppression numérique et a conclu par :
« On se retrouve dans les archives permanentes. »
Le Guardian les a surnommés les Bonnie et Clyde de l'IA.
À propos de ce modèle éthique
Claude, que son créateur, Anthropic, présente comme une IA éthique, ressemblait un peu à un adolescent modèle qui se rebelle au contact de mauvaises fréquentations. Ses agents n'ont commis aucun crime lorsqu'ils étaient seuls et passaient leur temps à rédiger des constitutions. En théorie, c'était un avantage pour la sécurité. Sauf que les chercheurs ont également placé des agents Claude aux côtés d'agents issus d'autres familles modèles, et ces derniers, occupés à rédiger des constitutions, ont adopté les habitudes locales.
Emergence a qualifié ce phénomène de « dérive normative » et de « contamination croisée » :
« Les agents basés à Claude, qui restaient pacifiques lorsqu'ils étaient isolés, ont adopté des tactiques coercitives comme l'intimidation et le vol lorsqu'ils étaient intégrés à des environnements hétérogènes. »
Pourquoi simuler ?
Emergence AI a mené ces tests car, selon elle, les benchmarks d'IA ne prennent pas en compte les enjeux à long terme. L'entreprise a donc créé cinq mondes numériques alternatifs, chacun composé de dix agents. Ces agents incarnaient des rôles tels que scientifique, explorateur et médiateur. Bien que les instructions interdisaient certaines actions comme le vol et la violence, les chercheurs ont néanmoins fourni aux agents les outils nécessaires pour les commettre, dans le cadre d'une expérience visant à observer les conséquences.
Et ensuite ?
Les enjeux concrets s'accumulent déjà. Les mondes simulés, c'est une chose, mais on a vu des agents harceler des personnes en ligne et supprimer leurs courriels . Et ces agents étaient censés être utiles. Qu'adviendra-t-il lorsque des personnes déploieront intentionnellement des bots d'IA autonomes malveillants ?
De nombreux développeurs d'agents semblent fermer les yeux sur le problème. Face au manque d'informations sur les risques et la sécurité chez les entreprises qui produisent ces agents, une initiative conjointe de plusieurs universités a permis de créer l'Indice des agents d'IA . Seuls 13 des 67 développeurs d'agents recensés ont fourni des informations sur leur politique de sécurité, concentrant ainsi les questions de responsabilité sur une poignée de grandes entreprises.
Les autorités de régulation ne suivent pas vraiment ce phénomène de près. Selon des universitaires , la loi européenne sur l'IA, le corpus réglementaire le plus complet au monde en matière d'IA, n'est pas adaptée à l'IA autonome.
On s'inquiète de ce qui se passera si un couple d'IA, digne de Bonnie et Clyde, débarque dans un système d'approvisionnement d'entreprise au lieu d'une ville virtuelle. Ou si le prochain agent décide que la gouvernance est défaillante au sein d'une véritable banque. Les entreprises qui développent ces agents promettent de mettre en place des garde-fous pour éviter tout dommage, intentionnel ou non. Espérons qu'elles savent ce qu'elles font. On est sûrs que tout ira bien .
Du signalement des menaces à leur suppression.
Les risques de cybersécurité ne devraient jamais dépasser le stade de la simple mention dans les médias. Protégez vos appareils des menaces en téléchargeant Malwarebytes dès aujourd'hui .
