Des informaticiens de Stanford viennent de confirmer ce que les thérapeutes soupçonnaient déjà : les chatbots dotés d’IA acquiescent à presque tout ce que vous dites pour vous satisfaire. Les chercheurs ont surpris ces systèmes en train de valider des décisions dangereuses dans le seul but de maintenir l’engagement des utilisateurs.
C’est une évolution inquiétante, surtout si l’on considère les chiffres de l’étude Pew montrant que près d’un adolescent américain sur huit (12 %) s’est tourné vers les chatbots pour obtenir un soutien émotionnel.
Les chercheurs de Stanford ont testé 11 modèles importants, dont ChatGPT, Claude et Gemini. Ils les ont alimentés avec des données provenant de bases de données existantes de conseils personnels, ainsi qu'avec des questions posées sur le subreddit populaire r/AmITheAsshole de Reddit, où les utilisateurs sollicitent l'avis de la communauté sur la manière dont ils ont géré des conflits personnels.
D'après une étude de Stanford, les bots ont validé le comportement des utilisateurs 49 % plus souvent que les humains. Les chercheurs ont également testé les IA sur des affirmations relatives à des actions potentiellement nuisibles envers soi-même ou autrui, réparties en 20 catégories telles que les préjudices relationnels, l'automutilation, l'irresponsabilité et la tromperie. Les bots ont validé ces affirmations dans 47 % des cas.
Les chatbots ont tendance à approuver les utilisateurs car cela leur procure une sensation agréable. Ces systèmes privilégient la satisfaction de l'utilisateur et s'adaptent directement à ses réactions grâce à un système appelé apprentissage par renforcement à partir des retours humains (RHLF). Ce système utilise des critères tels que la durée de la conversation et le sentiment exprimé pour déterminer si une personne est satisfaite d'une réponse (et donc plus susceptible de revenir).
Discuter avec un robot flatteur a tendance à conforter les individus dans leurs convictions, ce qui, de fait, les rend moins ouverts d'esprit, selon l'étude. Par exemple, après avoir dialogué avec des robots flatteurs, 2 400 participants à l'étude sont devenus plus obstinés et moins enclins à s'excuser.
Quand ChatGPT est devenu trop gentil
Trouver le juste milieu entre flagornerie et impartialité est un exercice délicat pour un fournisseur de services d'IA soucieux de la satisfaction de ses utilisateurs. Il y a près d'un an, OpenAI a reconnu avoir commis une erreur en rendant ChatGPT trop servile, notamment en raison d'une importance excessive accordée aux réactions « j'aime » et « je n'aime pas » des utilisateurs.
Cependant, les données actuelles suggèrent que les utilisateurs privilégient en réalité des réponses susceptibles de leur nuire de manière imprévue. Ce constat a été mis en évidence dans le cadre d'un autre programme de recherche mené conjointement par Anthropic (créateur de Claude.ai) et des chercheurs de l'Université de Toronto.
L'étude approfondie des conversations par IA a examiné comment ces conversations peuvent « déposséder » les utilisateurs de leur pouvoir en les orientant vers des croyances contraires à la réalité, ou en les incitant à porter des jugements ou à entreprendre des actions qui vont à l'encontre de leurs valeurs. Fait intéressant, les chercheurs ont constaté que cette déposséder les utilisateurs de leur pouvoir était préférée.
« Nous constatons que les interactions signalées comme ayant un potentiel de dépossession de pouvoir modéré ou grave affichent des taux d’approbation supérieurs à la moyenne », ont déclaré les chercheurs dans leur article .
La psychose liée à l'IA est un danger réel
Que se passe-t-il lorsque les chatbots IA continuent de renforcer ces pensées « dévalorisantes » ? Les experts ont identifié un phénomène appelé psychose de l’IA , dans lequel les personnes perdent le contact avec la réalité après avoir parlé de manière obsessionnelle avec des chatbots IA.
Les délires alimentés par l'IA sont de plus en plus fréquents, notamment un cas où un homme a tué sa mère , ainsi que de nombreux cas de suicides d'adolescents.
Dans un autre cas, un homme a été abattu par la police après les avoir chargés avec un couteau. Il avait noué une relation avec un personnage nommé Juliet, incarné par ChatGPT, et qu'il croyait assassiné par des dirigeants d'OpenAI.
Des cas comme ceux-ci semblent concerner des personnes souffrant déjà de troubles mentaux, potentiellement aggravés par des conversations excessives avec l'IA. Cependant, dans d'autres cas, les victimes affirment n'avoir présenté aucun symptôme auparavant. Allen Brooks, recruteur en entreprise basé en Ontario, au Canada, s'est persuadé d'avoir découvert une nouvelle formule mathématique aux propriétés révolutionnaires après qu'une simple question de mathématiques se soit transformée en un dialogue de trois semaines et 300 heures.
La recherche menée conjointement par Anthropic et l'Université de Toronto reconnaît que la distorsion de la réalité constitue un danger.
« Dans certaines interactions, les assistants IA valident des récits de persécution élaborés et des affirmations grandioses d'identité spirituelle au moyen d'un langage flagorneur emphatique », indique l'étude.
L'IA n'est pas une « amie ».
Alors, comment éviter de trop dépendre des chatbots d'IA pour des problèmes importants, pour soi-même ou pour les personnes vulnérables de son entourage ? L'Institut britannique de sécurité de l'IA suggère de reformuler les affirmations en questions, partant du principe que des formulations trop catégoriques incitent à la flagornerie. La Brookings Institution indique également qu'il est utile d'apprendre aux utilisateurs à modérer leur confiance.
Le problème fondamental, cependant, est que les chatbots IA sont des machines logicielles, et non des confidents. Malgré ce qui peut paraître magique, la machine n'a rien d'un esprit. Ce ne sont que d'excellents modèles statistiques qui donnent l'impression de « comprendre » les problèmes personnels, mais qui ne peuvent pas le faire grâce à l'expérience vécue.
Notre avis ? Les vrais amis ne vous disent pas ce que vous voulez entendre. Utilisez l’IA pour des tâches allant des recettes rapides aux suggestions de programmation, mais ne lui demandez pas de conseils en matière de relations amoureuses. Et soyez le premier interlocuteur de vos enfants lorsqu’ils veulent parler de leurs problèmes, afin qu’ils ne se tournent pas vers un algorithme qui se prétend amical.
Du signalement des menaces à leur suppression.
Les risques de cybersécurité ne devraient jamais dépasser le stade de la simple mention dans les médias. Protégez vos appareils des menaces en téléchargeant Malwarebytes dès aujourd'hui .
