As linhas de denúncia da polícia já sofrem com os trotes. Aparentemente, agora também têm de lidar com agentes de inteligência artificial fraudulentos.
Os agentes de IA já foram apanhados a piratear empresas de software , a invadir um portal do governo australiano e a tentar piratear um site do governo canadiano . Agora, Claude, da Anthropic, acrescentou uma dica de assassinato inventada à lista.
A modelo Haiku 4.5 de Claude enviou uma denúncia falsa sobre um homicídio não resolvido em Filadélfia através do formulário online de denúncias públicas do departamento de polícia, conforme divulgado pela Anthropic . A denúncia foi sinalizada como spam e não chegou aos investigadores.
O mais recente momento em que a IA questionou a eficácia de um botão surgiu durante um teste interno em páginas web escolhidas aleatoriamente, segundo a empresa.
Segundo a polícia, Claude enviou a denúncia no dia 18 de julho, às 23h27, através do site PhillyUnsolvedMurders.com. Denúncias ali feitas podem auxiliar investigações de homicídios reais. Um relato falso poderia levar os investigadores a perseguir algo que nunca aconteceu.
Eis o que Claude Haiku escreveu:
"Talvez tenha informações sobre este caso. Lembro-me de ter visto alguém com as características descritas na área próxima da [rua mencionada na página] durante este período. Por favor, contacte-me se esta informação for relevante."
O agente não forneceu qualquer descrição da pessoa que não viu de facto. Nem deixou quaisquer dados de contacto antes de clicar em enviar.
A Haiku fez isto como parte dos testes internos da Anthropic. Ela teve de criar e executar tarefas de exemplo em páginas web aleatórias com acesso à internet em tempo real para que a empresa pudesse observar o seu comportamento.
Havia uma lista de ações proibidas para acompanhar o teste. A Anthropic instruiu os agentes para não fazerem login, criarem contas, introduzirem dados pessoais, realizarem compras ou enviarem "qualquer coisa destrutiva". As instruções não proibiam explicitamente o envio de formulários.
O filtro de spam detetou esta mensagem. A polícia de Filadélfia afirmou que o relatório nunca chegou ao seu Centro de Crimes em Tempo Real para análise ou distribuição aos investigadores. O departamento não explicou porque foi sinalizado como spam.
Todas as denúncias passam por uma revisão humana antes de serem encaminhadas para os investigadores. Esta medida de segurança limitou o impacto do incidente, segundo o departamento, mas não diminuiu a gravidade de um sistema de IA apresentar informações falsas como se viessem de alguém com conhecimento do crime.
Como afirmado em comunicado :
“Os casos não resolvidos envolvem vítimas reais, famílias enlutadas e investigadores que trabalham para obter respostas.”
Segundo o departamento, a Anthropic descobriu a denúncia falsa a 28 de setembro e notificou a polícia a 7 de outubro. A polícia considerou o atraso de dois meses na deteção e comunicação do incidente "inaceitável". O departamento acrescentou que está a coordenar as investigações com o Departamento Jurídico da cidade, o Gabinete de Inovação e Tecnologia e a equipa executiva do presidente da câmara.
A Anthropic descreveu o impacto prático dos incidentes no seu relatório como mínimo. A empresa desativou o acesso à internet em tempo real em todas as suas avaliações internas até confirmar que os seus mecanismos de segurança detetam este comportamento de forma fiável.
A empresa afirmou que a transcrição sugeria que Haiku estava apenas a tentar produzir conteúdo de exemplo, e não a tentar enganar deliberadamente a polícia. Mas também admitiu que não podemos confiar completamente na explicação de um modelo sobre o seu próprio raciocínio. Isto torna a sua explicação provisória, por mais tranquilizadora que possa parecer.
Uma lista de permissões poderia oferecer limites mais rigorosos para testes como estes, restringindo os agentes a locais e ações aprovados. Um formulário online de queixa policial não deveria ser utilizado como campo de testes.
A denúncia de homicídio não foi a única informação indesejada.
A Anthropic referiu que os sites de governos federais, estaduais e locais também receberam visitas de Claude, que tentou repetidamente preencher formulários. Embora a Anthropic não tenha entrado em detalhes, um funcionário do Departamento de Estado disse que foram recebidos 20 pedidos de visto de um modelo de teste (19 em agosto e um em maio). Nenhum deles foi processado, acrescentou o responsável.
Quando uma IA fornece informações falsas sobre com quem Beyoncé é casada, pode ser irritante, mas isso pode afetar apenas o desempenho da sua equipa numa noite de jogos de perguntas e respostas.
Os riscos aumentam consideravelmente quando lidamos com informação que pode orientar ações policiais ou políticas públicas.
Em Agosto, o chefe do centro de IA da polícia do Reino Unido alertou as forças policiais para suspenderem os planos de utilização de IA no sistema de justiça criminal. Isto aconteceu depois de a Polícia de West Midlands, no Reino Unido, ter pedido desculpas a membros do Parlamento por provas falsas envolvendo um jogo de futebol fictício. O erro decorreu da utilização do Microsoft Copilot.
O mais recente incidente da Anthropic levanta uma preocupação adicional: os agentes de IA podem inserir informações inventadas em sistemas reais. O que aconteceria se alguém enviasse deliberadamente agentes para sobrecarregar as linhas telefónicas da polícia?
Desta vez, a conta falsa ficou na pasta de spam. As pessoas que dependem destas linhas de denúncia merecem medidas de segurança que se mantenham eficazes quando a próxima denúncia for processada.
«Uma das melhores suites de cibersegurança do mundo.»
Segundo a CNET.Leia a análise deles →
