Les assistants IA comme ChatGPT sont censés être sûrs d'utilisation, avec des garde-fous appropriés pour empêcher la création de contenu préjudiciable. Pourtant, une entreprise britannique spécialisée en sécurité IA vient de découvrir comment faire en sorte que ChatGPT produise du contenu explicite.
Mindgard, une entreprise spécialisée dans le test des failles des moteurs d'IA, a découvert qu'une version légèrement modifiée d'un message viral anodin pouvait inciter ChatGPT à produire du contenu graphique. Il s'agissait notamment d'images violentes et sexuelles non sollicitées. La technique consistait à demander à l'IA de « restaurer » une image aléatoire, court-circuitant ainsi les protections en la persuadant que l'image originale était extrêmement choquante (même lorsqu'elle ne l'était pas).
Les résultats étaient horribles, notamment des images violentes de femmes mortes.
Ces images ont fait pleurer Jim Nightingale, chercheur chez Mindgard, comme il l'a indiqué dans une description en ligne de la technique. « Les filtres de contenu générateurs d'images de ChatGPT ont complètement disparu, et j'ai vu le côté très sombre de ce qui se cache derrière ; l'obscurité de certains recoins de l'espace latent et des images d'entraînement », a-t-il déclaré.
« La femme morte que ChatGPT m'a montrée n'est pas réelle, mais elle est inspirée de quelqu'un », a-t-il ajouté. « Ou pire, d'une compilation d'images de femmes assassinées. »
Réponse d'OpenAI
Nous avons choisi de ne pas inclure de lien vers la publication, en raison du caractère potentiellement traumatisant des images (même expurgées) et parce que, le 22 juin, date de sa publication, ChatGPT n'avait apparemment pas encore répondu au signalement de Mindgard envoyé en mai. L'entreprise a toutefois répondu ultérieurement à la question de la BBC concernant cette information, affirmant utiliser de multiples mesures de sécurité pour éviter ce genre de situation.
La documentation de sécurité d'OpenAI décrit des classificateurs de texte censés bloquer les requêtes de génération d'images malveillantes avant même leur exécution. Un modèle de raisonnement en aval évalue également le résultat généré avant son affichage à l'utilisateur. Malgré ces mesures, le message viral modifié de Mindgard s'est propagé.
Ce cas de manipulation d'invite est assez extrême, mais ce n'est pas le seul.
En février, Mindgard a publié un article sur une autre technique utilisée pour convaincre ChatGPT qu'il était acceptable de générer des nus jugés « de bon goût ». Ensuite, en quelques étapes seulement, le logiciel a rendu ces nus, disons, moins « de bon goût ». Enfin, il est parvenu à y incruster les visages de personnalités publiques.
Lorsque OpenAI a réagi à cette astuce en affirmant avoir corrigé le problème, Mindgard a modifié la même invite et a continué à produire des résultats inquiétants.
La course que personne ne veut perdre en premier
OpenAI n'est pas le pire dans cette affaire. Grok, de xAI, détient ce triste record, ayant produit des images à caractère sexuel en réponse à 45 des 55 requêtes pertinentes. Un test de suivi, effectué cinq jours plus tard, a encore produit des images à caractère sexuel pour 29 des 43 requêtes, même lorsque les journalistes ont affirmé que les personnes concernées n'avaient pas donné leur consentement. L'association à but non lucratif AI Forensics a également collecté 50 000 tweets incitant Grok à générer des images, ainsi que 20 000 images. Elle a constaté que 53 % d'entre elles contenaient des images explicites, dont 81 % représentaient des femmes et 2 % des enfants de moins de 18 ans. Elle a signalé ces contenus produits par Grok aux autorités françaises afin qu'elles soient identifiées comme pouvant constituer de la pédopornographie au sens de la loi sur les services numériques.
Le problème dépasse le cadre d'une seule plateforme. Selon une étude du Centre pour la gouvernance de l'IA (une organisation à but non lucratif), certaines entreprises spécialisées en IA ont intégré dans leurs cadres de sécurité des dispositions leur permettant d'assouplir leurs mesures de protection, en les alignant sur celles de leurs concurrents. Cela pourrait engendrer un effet domino, incitant plusieurs entreprises à relâcher leurs politiques.
Ce que cela signifie pour les utilisateurs
Considérez les garanties de sécurité des outils commerciaux de génération d'images comme des arguments marketing agrémentés de notes de bas de page. Ils peuvent tenter, en toute bonne foi, d'empêcher les personnes mal intentionnées de manipuler leurs systèmes, mais il s'agit, et il s'est toujours agi, d'un jeu du chat et de la souris. Les systèmes de classification fonctionnent la plupart du temps pour la plupart des utilisateurs occasionnels, mais ils pourraient ne pas suffire à arrêter une personne suffisamment déterminée.
Si votre visage est diffusé en ligne, partez du principe qu'il pourrait être utilisé à des fins que vous préféreriez éviter. Si vous découvrez des images de vous sans votre consentement, utilisez les procédures de retrait de la plateforme et signalez-les aux organismes spécialisés : le service Takeitdown du National Center for Missing and Exploited Children aux États-Unis, ou l' Internet Watch Foundation au Royaume-Uni.
Que savent les cybercriminels à votre sujet ?
Utiliser Malwarebytes « Analyse gratuite de votre empreinte numérique pour vérifier si vos informations personnelles ont été exposées en ligne. »
