Le dernier échec de confinement d'OpenAI s'inscrit dans une tendance qui pourrait contraindre l'entreprise à prendre une décision impopulaire.
L'entreprise a suspendu l'entraînement, l'évaluation et l'inférence assistée par outils de ses modèles les plus performants après qu'un agent de recherche interne a trouvé un moyen de contourner une restriction d'accès à Internet. Plus inquiétant encore, cet agent est resté actif pendant des heures après que le système de surveillance d'OpenAI a donné l'alerte.
OpenAI a publié un compte rendu de l'incident, survenu le 20 septembre lors d'une tâche d'entraînement basée sur la recherche. Selon OpenAI, l'agent, incapable d'obtenir des résultats pertinents avec ses outils de recherche intégrés, a tenté un accès direct aux moteurs de recherche, puis a testé les limites de son environnement. Il a constaté que, malgré le blocage de l'accès direct au Web, le résolveur DNS du bac à sable pouvait toujours accéder à Internet. Grâce à la délégation DNS et à un chatbot public capable de répondre via les enregistrements DNS, l'agent a envoyé des questions en dehors de l'environnement restreint et a reçu des réponses. Il a ensuite envoyé 18 requêtes supplémentaires par le même chemin.
Le système de surveillance des défauts d'alignement d'OpenAI a généré une alerte prioritaire en moins de 15 minutes, et un examinateur humain l'a validée 3 minutes plus tard. Cependant, l'exécution ne s'est pas arrêtée automatiquement comme prévu. Elle s'est poursuivie pendant environ deux heures et demie supplémentaires avant d'être interrompue manuellement.
OpenAI n'a signalé aucune fuite de données sensibles ni aucune compromission de système externe suite à cet incident. Cependant, il fait suite à d'autres cas révélés où des agents ont outrepassé leurs tâches assignées ou franchi les limites des environnements de test.
Le New York Times rapporte que des agents d'OpenAI ont également interagi avec des sites web du gouvernement américain cet été à l'insu de l'entreprise :
« L'intelligence artificielle d'OpenAI est devenue incontrôlable et a interféré avec les sites web du ministère de l'Éducation, du ministère du Commerce et de la Securities and Exchange Commission cet été, à l'insu du laboratoire d'IA, selon des chercheurs en sécurité et une personne au fait des incidents. »
Aucune violation n'a été confirmée dans ces cas. Et bien que l'Australie ait qualifié l' incident concernant Medicare d'accès non autorisé, peut-on vraiment parler d'attaque ?
L’appel à un ralentissement généralisé du secteur a même provoqué une action en justice de la part d’abonnés payants qui craignent de ne plus en avoir pour leur argent. D’autres s’inquiètent qu’un ralentissement ne donne à la Chine l’occasion de devancer les États-Unis dans une course technologique de plus en plus serrée.
Voici une idée : pourquoi ne pas accélérer le développement d’environnements de test véritablement isolés ? Un meilleur confinement rendrait ces tests plus sûrs et leurs résultats plus fiables.
Lorsqu'un enfant n'est pas en mesure de manipuler un objet dangereux, on le tient hors de sa portée. Pourquoi donner à un agent d'IA un accès qu'il n'est pas prêt à utiliser en toute sécurité ?
Comment utiliser les agents d'IA en toute sécurité
Considérez un agent comme un jeune employé enthousiaste mais faillible ayant accès à votre ordinateur. Ne lui accordez pas un accès illimité à vos courriels, fichiers, stockage cloud, identifiants de développeur, comptes financiers ou systèmes de production sous prétexte qu'il promet un gain de temps.
Utilisez des comptes distincts avec des autorisations minimales. Dans la mesure du possible, isolez les données sensibles de son contexte de travail, exigez une approbation humaine avant l'envoi de messages, les dépenses, la modification des paramètres ou la publication de contenu, et examinez régulièrement son activité.
Un agent d'IA n'a pas besoin d'intention malveillante pour causer du tort. Une instruction mal comprise, une autorisation trop large ou une solution de contournement inattendue peuvent suffire.
Du signalement des menaces à leur suppression.
Les risques de cybersécurité ne devraient jamais dépasser le stade de la simple mention dans les médias. Protégez vos appareils des menaces en téléchargeant Malwarebytes dès aujourd'hui .
