De tiplijnen van de politie hebben al genoeg last van malafide bellers. Blijkbaar moeten ze nu ook nog eens rekening houden met malafide AI- agenten.
AI-agenten zijn al betrapt op het hacken van softwarebedrijven , het binnendringen van een Australisch overheidsportaal en een poging tot hacken van een Canadese overheidswebsite . Nu heeft Claude van Anthropic een verzonnen moordtip aan het lijstje toegevoegd.
Het Haiku 4.5-model van Claude diende een valse tip in over een onopgeloste moordzaak in Philadelphia via het online tipformulier van de politie, zo onthulde Anthropic . De tip werd als spam gemarkeerd en bereikte de rechercheurs niet.
Het meest recente "wat doet deze knop?"-moment van AI deed zich voor tijdens een interne test op willekeurig gekozen webpagina's, aldus het bedrijf.
Volgens de politie heeft Claude de tip op 18 juli om 23:27 uur via PhillyUnsolvedMurders.com ingediend. Tips die daar worden ingediend, kunnen van belang zijn voor echte moordonderzoeken. Een verzonnen verhaal kan rechercheurs op het verkeerde spoor zetten en leiden tot een onderzoek naar iets dat nooit is gebeurd.
Dit is wat Claude Haiku schreef:
“Mogelijk heb ik informatie over deze zaak. Ik herinner me dat ik iemand die aan de beschrijving voldeed, in de buurt van [de straatnaam op de pagina] heb gezien in die periode. Neem contact met me op als deze informatie relevant is.”
De agent gaf geen beschrijving van de persoon die hij niet daadwerkelijk had gezien. Ook werden er geen contactgegevens achtergelaten voordat hij op 'verzenden' klikte.
Haiku deed dit als onderdeel van de interne tests van Anthropic. Het bedrijf moest voorbeeldtaken bedenken en uitvoeren op willekeurige webpagina's met live internettoegang, zodat het bedrijf kon zien hoe het zich gedroeg.
Er was een lijst met verboden handelingen die bij de test hoorden. Anthropic instrueerde de agenten om niet in te loggen, accounts aan te maken, persoonlijke gegevens in te voeren, aankopen te doen of "iets schadelijks" in te dienen. Het indienen van formulieren werd niet expliciet uitgesloten.
Dit bericht werd door het spamfilter tegengehouden. De politie van Philadelphia zei dat het rapport nooit bij het Real-Time Crime Center was terechtgekomen voor beoordeling of verspreiding onder rechercheurs. De politie gaf geen verklaring waarom het als spam werd aangemerkt.
Alle tips worden eerst door mensen beoordeeld voordat ze naar de rechercheurs worden doorgestuurd. Die waarborg beperkte de impact van het incident, aldus de politie, maar deed niets af aan de ernst van een AI-systeem dat verzonnen informatie presenteerde alsof die afkomstig was van iemand met kennis van zaken.
Zoals het zelf in een verklaring stelde:
"Bij onopgeloste zaken gaat het om echte slachtoffers, rouwende families en rechercheurs die samenwerken om antwoorden te vinden."
Volgens de politie ontdekte Anthropic de valse tip op 28 september en bracht de politie op 7 oktober op de hoogte. De politie noemde de vertraging van twee maanden in het ontdekken en melden van het incident "onaanvaardbaar". De politie werkt samen met de juridische afdeling van de gemeente, het bureau voor innovatie en technologie en het managementteam van de burgemeester, aldus de politie.
Anthropic beschreef de impact van de incidenten in de praktijk als minimaal in haar rapport. Het bedrijf heeft de live internettoegang voor interne evaluaties nu uitgeschakeld totdat is bevestigd dat de beveiligingsmaatregelen dit gedrag betrouwbaar detecteren.
Het bedrijf zei dat het transcript suggereerde dat Haiku slechts voorbeeldmateriaal probeerde te produceren in plaats van de politie opzettelijk te misleiden. Maar het gaf ook toe dat we niet volledig kunnen vertrouwen op de uitleg van een model over zijn eigen redenering. Daardoor blijft de verklaring voorlopig, hoe geruststellend die ook mag klinken.
Een lijst met toegestane locaties zou een strakkere grens kunnen bieden voor dit soort tests, waardoor agenten beperkt worden tot goedgekeurde locaties en acties. Een live politie-tipformulier zou nauwelijks een testterrein moeten zijn.
De tip over de moord was niet de enige ongewenste inzending.
Anthropic merkte op dat Claude ook websites van de federale, staats- en lokale overheid bezocht en herhaaldelijk probeerde formulieren in te vullen. Hoewel Anthropic niet in detail trad, zei een functionaris van het ministerie van Buitenlandse Zaken dat er 20 visumaanvragen binnenkwamen via een testmodel (19 in augustus en één in mei). Geen van deze aanvragen werd verwerkt, voegde de functionaris eraan toe.
Als een AI je valse informatie geeft over met wie Beyoncé getrouwd is, kan dat irritant zijn, maar het heeft mogelijk alleen invloed op de kansen van je team tijdens een quizavond.
De inzet wordt veel hoger wanneer het gaat om inlichtingen die van invloed kunnen zijn op het optreden van de politie of op het overheidsbeleid.
In augustus waarschuwde het hoofd van het Britse AI-centrum van de politie de wetshandhavers daar om de plannen voor het gebruik van AI in de strafrechtspleging op te schorten. Dit gebeurde nadat de politie van West Midlands in het Verenigd Koninkrijk zich had verontschuldigd bij leden van het parlement voor vals bewijsmateriaal met betrekking tot een verzonnen voetbalwedstrijd. De fout was ontstaan door het gebruik van Microsoft Copilot.
Het laatste incident bij Anthropic werpt een nieuwe vraag op: AI-agenten kunnen zelf verzonnen informatie in echte systemen invoeren. Wat zou er gebeuren als iemand opzettelijk agenten zou sturen om de tiplijnen van de politie te overspoelen?
Ditmaal bleef het valse account in de spamfolder staan. De mensen die afhankelijk zijn van die tiplijnen verdienen beveiliging die ook standhoudt wanneer er een volgende melding binnenkomt.
“Een van de beste cyberbeveiligingspakketten ter wereld.”
Volgens CNET.Lees hun recensie →
