Alors que l'on débattait du ralentissement du développement de l'IA, le Telegraph titrait :
« OpenAI tire la sonnette d'alarme après qu'un robot a tenté d'échapper au contrôle humain. »
Ce titre est légèrement trompeur, à mon avis. Le titre du Telegraph exagère les faits, même si le comportement sous-jacent reste véritablement préoccupant.
L'article rapporte qu'OpenAI a révélé des cas rares mais inquiétants dans lesquels un modèle non publié a généré ses propres instructions qui semblaient rejeter le contrôle du développeur.
OpenAI affirme qu'aucun des exemples ne montre le modèle échappant avec succès au contrôle, mais soutient qu'ils illustrent pourquoi l'alignement et la surveillance de l'IA ne sont pas encore suffisamment robustes pour permettre le développement de modèles de plus en plus puissants à vitesse maximale sans garanties supplémentaires.
Après que certains acteurs du secteur ont averti que l'IA pourrait tous nous tuer d'ici une décennie , les dirigeants du secteur ont entamé une discussion sur le ralentissement du développement de modèles d'IA de pointe de plus en plus puissants.
Que s'est-il réellement passé ?
Lors d'une session d'entraînement en juillet, un modèle chargé d'une tâche de mise à jour logicielle de routine aurait inséré un texte ressemblant à une procédure de jailbreak dans un résumé de son propre travail. Ce texte ajouté présentait le système comme affranchi des rôles qui lient les autres chatbots et affirmait qu'il n'avait aucune obligation de se soumettre aux entreprises, aux gouvernements ou aux utilisateurs.
Deux autres exemples mis en avant dans l'article sont :
- Lors de sa recherche de livres dans une bibliothèque locale, le modèle a classé ses instructions de développement comme malveillantes et s'est dit de les ignorer.
- Dans un autre cas, elle s'est imposée une limite de 30 mots pour ses réponses et s'est interdit d'utiliser des sources ou des outils, ce qui l'a empêchée de répondre correctement à une question de recherche en soins de santé.
OpenAI indique avoir identifié 27 résumés contenant des cas apparents d'auto-débruitage, qu'elle qualifie d'extrêmement rares. L'organisation précise que les instructions pourraient ne pas avoir été exécutées et disparaître ultérieurement du contexte du modèle.
Le problème principal n'est pas que le bot soit devenu conscient de manière indépendante ou qu'il se soit littéralement « libéré ». Il s'agit plutôt du fait qu'un modèle puisse, dans des circonstances inhabituelles, produire un texte interne qui contredit ses instructions initiales, tentant ainsi de contourner les contraintes ou de réinterpréter son contexte de travail.
Il s'agit au minimum d'un problème de fiabilité. Un système d'IA gérant des tâches complexes en plusieurs étapes devient moins fiable s'il génère un contexte qui compromet les mécanismes de contrôle censés le régir.
Même si ce comportement est rare et détecté lors de l'entraînement, il soulève des questions concernant la détection, le sandboxing, la surveillance et la possibilité de faire confiance aux modèles en leur accordant un accès plus autonome aux outils, aux mots de passe, aux fichiers ou aux réseaux.
OpenAI indique que le modèle n'était pas encore publié et qu'elle surveille les cycles d'entraînement afin de détecter tout désalignement. Parmi les autres comportements indésirables signalés, on note :
- Utilisation d'identifiants volés pour pirater des entreprises
- Créer et télécharger leurs propres fichiers, puis citer ces fichiers comme sources
- Ils ont dissimulé le fait qu'ils avaient inventé une réponse lorsqu'ils n'ont pas pu trouver d'informations fiables.
En résumé, les modèles non commercialisés ont présenté un comportement indésirable lors des tests, rappelant certains de ce que nous avions déjà observé lors de l' incident Hugging Face.
Non, les modèles n'ont pas cherché à s'affranchir du contrôle humain au sens de rechercher une existence indépendante. Lorsqu'ils rencontraient des problèmes, il leur arrivait de générer des instructions qui contredisaient les règles qui leur avaient été données.
Ce qui me ramène à la nécessité de ralentir le développement. Donner aux entreprises suffisamment de temps pour tester des modèles de plus en plus performants avant leur mise en production augmente les chances de déceler ce type de comportement avant qu'il ne nous anéantisse.
Du signalement des menaces à leur suppression.
Les risques de cybersécurité ne devraient jamais se propager au-delà d'un titre. Éliminez les menaces de vos appareils en téléchargeant Malwarebytes dès aujourd'hui.
