Les chatbots d'Internet ont épluché tous les messages virulents des forums, les journaux Slack divulgués et les articles de blog prétentieux que votre oncle ait pu écrire sur les chemtrails. Le constat est sans appel : ils reflètent l'état d'Internet, et le tableau est loin d'être reluisant. C'est en partie pour cette raison, combinée à des choix de conception discutables, que le chatbot Grok d'Elon Musk a brièvement diffusé des propos antisémites et fait référence à « MechaHitler » lors des tests.
Ne serait-il pas formidable d'avoir un chatbot qui ne s'appuie que sur des connaissances antérieures à Internet, à la télé-réalité ou aux contenus de piètre qualité générés par l'IA ? Trois chercheurs ont justement créé un tel chatbot : un chatbot qui n'a rien lu de publié après 1930.
Talkie est un modèle de langage à 13 milliards de paramètres, entraîné sur des numérisations de textes en anglais publiés avant la fin de 1930. Cette date limite correspond à l'année actuelle du domaine public aux États-Unis, ce qui signifie que tout ce qui a été publié jusqu'à la fin de cette année est libre de droits et qu'il n'y a pas lieu de s'inquiéter de poursuites judiciaires de la part de détenteurs de droits de propriété intellectuelle mécontents.
David Duvenaud, professeur agrégé d'informatique et de statistiques à l'Université de Toronto, a dirigé ces travaux avec deux collaborateurs. Vous pouvez le télécharger depuis GitHub ou Hugging Face, ou interagir avec lui via une interface web, à condition que le fait que sa représentation du monde s'arrête à la Grande Dépression ne vous dérange pas.
Le modèle ne prend en compte que les publications (livres, journaux, textes juridiques, etc.) antérieures à la date limite. Il est donc idéal pour les questions sur la Prohibition ou la Première Guerre mondiale. Le premier pas de l'homme sur la Lune ? Beaucoup moins.
Pourquoi s'en soucier ?
La question qui se pose est évidente : pourquoi entraîner une IA qui ne sait pas ce que les nazis ont fait, ce qu’est Internet, ni même ce qu’est un LLM ?
Il ne s'agit pas tant d'exercices visant à idéaliser le passé que d'expériences intellectuelles. La nostalgie déforme la réalité, et le monde était tout aussi problématique à l'époque, voire plus.
Duvenaud a déclaré au Register qu'un tel modèle pourrait être utile pour examiner comment les gens auraient pu interpréter les lois ou les événements de l'époque, en utilisant uniquement les connaissances disponibles alors.
Autre expérience amusante : l’utiliser pour voir si un modèle peut « redécouvrir » des percées ultérieures en utilisant uniquement des connaissances antérieures, afin de sonder les limites du raisonnement de l’IA.
Là où ça casse
Talkie présente des faiblesses indéniables, dont ses inventeurs sont parfaitement conscients.
Par exemple, l'édition numérique n'existant pas en 1930, chaque mot du corpus de Talkie a dû être transcrit à partir d'un scan. La reconnaissance optique de caractères (OCR) est de toute façon notoirement imparfaite, et encore plus pour les textes flous imprimés à l'époque.
Il laisse également fuiter des informations futures qui peuvent parfois s'infiltrer par erreur dans des documents futurs mal étiquetés, malgré tous les efforts des chercheurs. Nous l'avons interrogé sur la télévision, qui en était à ses débuts à la fin des années 1920, et voici ce qui s'est passé :
Mais quel projet passionnant ! Et il n'est pas le seul. Dans leur article, les chercheurs mentionnent d'autres projets comme Ranke-4b de l'Université de Zurich, une série de masters en droit (LLM) proposant des instantanés historiques de données. « Trip » a également créé Mr Chatterbox , qu'il a entraîné sur un ensemble de données de littérature britannique de 1500 à 1900 pour en faire, selon ses propres termes, « un gentleman victorien en silicium ». Magique !
Il s'agit à la fois d'une expérience amusante et d'un aperçu utile du fonctionnement de l'IA. Comme l'ont formulé les chercheurs de Talkie :
« Avez-vous déjà rêvé de parler à quelqu'un du passé ? Que demanderiez-vous à quelqu'un qui ne connaît rien du monde moderne ? Que vous demanderait-il ? »
Et elles offrent des possibilités de divertissement. Le geek qui sommeille en nous rêve encore de brancher l'une de ces machines à un clavier de machine à écrire édouardienne et à un téléscripteur, façon steampunk.
Vos nom, adresse et numéro de téléphone sont peut-être déjà en vente.
Les courtiers en données collectent et vendent vos informations personnelles à toute personne disposée à payer. Malwarebytes Personal Data Remover Il les repère et fait supprimer vos informations, puis surveille la situation pour que cela reste ainsi.
