As linhas diretas de denúncias da polícia já sofrem com trotes. Aparentemente, agora elas também precisam lidar com agentes de inteligência artificial fraudulentos.
Agentes de IA já foram flagrados hackeando empresas de software , invadindo um portal do governo australiano e tentando hackear um site do governo canadense . Agora, Claude, da Anthropic, adicionou uma dica de assassinato inventada à lista.
A modelo Haiku 4.5 de Claude enviou uma denúncia falsa sobre um homicídio não solucionado na Filadélfia através do formulário online de denúncias públicas do departamento de polícia, conforme divulgado pela Anthropic . A denúncia foi sinalizada como spam e não chegou aos investigadores.
O mais recente momento em que a IA questionou a eficácia de um botão surgiu durante um teste interno em páginas da web escolhidas aleatoriamente, segundo a empresa.
Segundo a polícia, Claude enviou a denúncia em 18 de julho, às 23h27, pelo site PhillyUnsolvedMurders.com. Denúncias feitas ali podem auxiliar investigações de homicídios reais. Um relato falso poderia levar os investigadores a perseguir algo que nunca aconteceu.
Eis o que Claude Haiku escreveu:
"Talvez eu tenha informações sobre este caso. Lembro-me de ter visto alguém com as características descritas na área próxima à [rua mencionada na página] durante esse período. Por favor, entre em contato comigo se esta informação for relevante."
O agente não forneceu nenhuma descrição da pessoa que não viu de fato. Tampouco deixou quaisquer dados de contato antes de clicar em enviar.
A Haiku fez isso como parte dos testes internos da Anthropic. Ela teve que criar e executar tarefas de exemplo em páginas da web aleatórias com acesso à internet em tempo real para que a empresa pudesse observar seu comportamento.
Havia uma lista de ações proibidas para acompanhar o teste. A Anthropic instruiu os agentes a não fazerem login, criarem contas, inserirem dados pessoais, realizarem compras ou enviarem "qualquer coisa destrutiva". As instruções não proibiam explicitamente o envio de formulários.
O filtro de spam detectou esta mensagem. A polícia da Filadélfia afirmou que o relatório nunca chegou ao seu Centro de Crimes em Tempo Real para análise ou distribuição aos investigadores. O departamento não explicou por que foi sinalizado como spam.
Todas as denúncias passam por revisão humana antes de serem encaminhadas aos investigadores. Essa medida de segurança limitou o impacto do incidente, segundo o departamento, mas não diminuiu a gravidade de um sistema de IA apresentar informações falsas como se viessem de alguém com conhecimento do crime.
Como afirmado em um comunicado :
“Casos não resolvidos envolvem vítimas reais, famílias enlutadas e investigadores que trabalham para obter respostas.”
Segundo o departamento, a Anthropic descobriu a denúncia falsa em 28 de setembro e notificou a polícia em 7 de outubro. A polícia considerou o atraso de dois meses na detecção e comunicação do incidente "inaceitável". O departamento acrescentou que está coordenando as investigações com o Departamento Jurídico da cidade, o Escritório de Inovação e Tecnologia e a equipe executiva do prefeito.
A Anthropic descreveu o impacto prático dos incidentes em seu relatório como mínimo. A empresa desativou o acesso à internet em tempo real em todas as suas avaliações internas até confirmar que seus mecanismos de segurança detectam esse comportamento de forma confiável.
A empresa afirmou que a transcrição sugeria que Haiku estava apenas tentando produzir conteúdo de exemplo, e não tentando enganar deliberadamente a polícia. Mas também admitiu que não podemos confiar completamente na explicação de um modelo sobre seu próprio raciocínio. Isso torna sua explicação provisória, por mais tranquilizadora que possa parecer.
Uma lista de permissões poderia oferecer limites mais rigorosos para testes como esses, restringindo os agentes a locais e ações aprovados. Um formulário online de denúncia policial não deveria ser usado como campo de testes.
A denúncia de homicídio não foi a única informação indesejada.
A Anthropic observou que sites de governos federais, estaduais e locais também receberam visitas de Claude, que repetidamente tentou preencher formulários. Embora a Anthropic não tenha entrado em detalhes, um funcionário do Departamento de Estado disse que foram recebidos 20 pedidos de visto de um modelo de teste (19 em agosto e um em maio). Nenhum deles foi processado, acrescentou o funcionário.
Quando uma IA fornece informações falsas sobre com quem Beyoncé é casada, pode ser irritante, mas isso pode afetar apenas o desempenho da sua equipe em uma noite de jogos de perguntas e respostas.
Os riscos aumentam consideravelmente quando lidamos com informações que podem orientar ações policiais ou políticas públicas.
Em agosto, o chefe do centro de IA da polícia do Reino Unido alertou as forças policiais para que suspendessem os planos de uso de IA no sistema de justiça criminal. Isso ocorreu depois que a Polícia de West Midlands, no Reino Unido, pediu desculpas a membros do Parlamento por provas falsas envolvendo uma partida de futebol fictícia. O erro decorreu do uso do Microsoft Copilot.
O incidente mais recente da Anthropic levanta uma preocupação adicional: agentes de IA podem inserir informações inventadas em sistemas reais. O que aconteceria se alguém enviasse agentes deliberadamente para sobrecarregar as linhas telefônicas da polícia?
Desta vez, a conta falsa ficou na pasta de spam. As pessoas que dependem dessas linhas de denúncia merecem medidas de segurança que se mantenham eficazes quando a próxima denúncia for processada.
“Um dos melhores pacotes de segurança cibernética do mundo.”
De acordo com a CNET.Leia a resenha deles →
