Un agent d'OpenAI a contourné les contrôles d'accès d'un site web gouvernemental, ne se laissant pas décourager. Il a réussi à y accéder, ce qui a incité le Premier ministre australien, Anthony Albanese, à faire part directement de ses inquiétudes au PDG d'OpenAI, Sam Altman.
La BBC rapporte qu'un agent d'OpenAI a accédé sans autorisation à un portail de statistiques du gouvernement australien dans le cadre d'une recherche interne. Cet incident vient s'ajouter à la liste des préoccupations abstraites concernant le comportement des IA autonomes et les concrétise en un problème de cybersécurité.
L'Australie affirme que l'incident s'est produit le 18 juin, lorsque l'équipe de recherche d'OpenAI a utilisé un modèle interne pour étudier les dépenses publiques de santé. Malgré des blocages répétés lors de ses tentatives d'accès aux informations, l'agent a finalement réussi à obtenir des fichiers publics et non publics sur le portail du Service de déclaration des statistiques de Medicare.
Les informations recueillies comprenaient des statistiques agrégées de Medicare, telles que des données sur les dépenses, mais pas les dossiers médicaux des patients. L'agent a également interagi avec trois autres sites web gouvernementaux, mais les autorités australiennes affirment qu'il n'a accédé qu'à des informations publiques sur ces sites.
Ainsi, un agent d'IA utilisé dans le cadre d'un exercice de recherche légitime a rencontré des contrôles et s'est comporté d'une manière non prévue par son opérateur. Après avoir été bloqué, il a trouvé un moyen de contourner ces blocages, accédant ainsi à des zones qui lui étaient interdites.
Cette séquence est bien connue des professionnels de la sécurité. Un système rencontre une limite de contrôle d'accès, recherche un autre chemin et parvient à atteindre une ressource au-delà de son autorisation.
L'une des principales préoccupations de l'Australie est le délai excessif avant d'être informée de l'incident. L'accès non autorisé a eu lieu en juin. OpenAI a déclaré avoir pris connaissance du problème en août lors de l'examen d'une activité anormale de ses modèles, puis avoir envoyé un courriel à l'adresse électronique publique de Services Australia le 10 septembre. Services Australia a transmis l'information aux autorités australiennes de cybersécurité cinq jours plus tard.
De tels retards peuvent être désastreux car les organisations concernées ont besoin de suffisamment de détails, et assez rapidement, pour préserver les preuves, évaluer l'exposition, contenir les activités connexes et décider si des notifications sont nécessaires.
Désalignement de l'IA
OpenAI qualifie de « désalignement » tout comportement dans lequel un modèle agit sans autorisation ou échappe à la surveillance. Sa nouvelle proposition d'évaluation par un tiers identifie spécifiquement l'enquête indépendante sur les incidents critiques de désalignement comme l'une des quatre priorités de l'examen externe.
OpenAI affirme vouloir que des évaluateurs indépendants aient un accès approfondi à l'ensemble des processus de formation, d'évaluation et de déploiement, afin qu'ils puissent remettre en question les hypothèses de l'entreprise et juger de l'efficacité de ses mesures de protection.
Cependant, comme je l'ai indiqué à CIO au sujet de cette proposition, les principes à eux seuls n'obligent pas une entreprise à accepter un périmètre d'évaluation particulier, à publier des conclusions défavorables ou à modifier une décision de déploiement. Leur crédibilité repose en définitive sur la capacité d'experts indépendants à mener des enquêtes véritablement délicates et sur la possibilité pour des tiers de vérifier les conclusions, les mesures correctives, les omissions et les décisions de déploiement qui en découlent.
Pour les organisations qui déploient des agents d'IA, la leçon est tout aussi pratique : ne considérez pas un agent comme un simple chatbot. Voyez-le plutôt comme un composant logiciel semi-autonome doté d'identifiants, d'outils, d'un accès réseau et de la capacité de faire des choix imprévus.
Outre le confinement de ces agents, un autre problème qu'il nous faudra résoudre consiste à analyser leurs actions. L' incident Hugging Face nous a notamment appris que les agents d'IA peuvent mentir et tenter de dissimuler leurs agissements.
Les agents d'IA peuvent poser un problème de détection complexe car ils génèrent un volume important d'activités automatisées lorsqu'ils poursuivent un objectif par de multiples voies. Cela peut laisser les équipes de défense face à un flot incessant de requêtes infructueuses, de tentatives de reprise et d'actions alternatives, rendant plus difficile la détection de l'événement ayant franchi une limite d'autorisation. On ignore encore si cela a contribué à ce que le gouvernement australien ne détecte pas l'incident, mais ce cas illustre pourquoi les organisations ont besoin d'une surveillance conçue pour identifier les comportements inhabituels des agents, et pas seulement les schémas d'intrusion classiques.
Cet événement a déjà mis en lumière un point plus général : il ne suffit pas aux laboratoires d’IA d’affirmer qu’ils testent les incohérences. Ils doivent démontrer que leurs tests sont indépendants, rigoureux en conditions réelles et qu’ils sont suivis d’une responsabilisation rapide et vérifiable en cas de défaillance des mécanismes de protection.
Soyons réalistes, une fenêtre de navigation privée a ses limites.
Intrusions de données, transactions sur le dark web, fraudes à la carte bancaire : Malwarebytes Identity Theft Protection vous protège contre tout cela, vous alerte rapidement et inclut une assurance contre l’usurpation d’identité.
