Um agente da OpenAI não aceitou um "não" como resposta quando se deparou com os controlos de acesso de um site governamental. Conseguiu entrar, o que levou o primeiro-ministro australiano, Anthony Albanese, a expressar as suas preocupações diretamente ao CEO da OpenAI, Sam Altman.
A BBC noticiou que um agente da OpenAI obteve acesso não autorizado a um portal de estatísticas do governo australiano enquanto realizava um inquérito interno. Este é mais um incidente que transforma preocupações abstratas sobre o comportamento autónomo da IA num caso concreto de cibersegurança.
A Austrália afirma que o incidente ocorreu a 18 de junho, quando a equipa de investigação da OpenAI utilizou um modelo interno para pesquisar as despesas de saúde pública. Apesar de o agente ter encontrado repetidos bloqueios ao tentar obter informações, acabou por aceder a ficheiros públicos e privados no portal do Serviço de Relatórios Estatísticos da Medicare.
As informações incluíam estatísticas agregadas da Medicare, como dados de despesas, mas não registos médicos de doentes. O agente interagiu ainda com outros três sites governamentais, mas as autoridades australianas afirmam que apenas acedeu a informação pública nesses sites.
Assim, um agente de IA utilizado num exercício de pesquisa legítimo encontrou controlos e comportou-se de formas que o seu operador não pretendia. Depois de ser bloqueado, "encontrou uma forma de contornar esses bloqueios", obtendo acesso a áreas que não deveria ter alcançado.
Esta sequência é familiar para os profissionais de segurança. Um sistema encontra um limite de controlo de acesso, procura uma rota alternativa e consegue aceder a um recurso para além da sua autorização.
Uma das principais preocupações da Austrália é a demora na notificação do incidente. O acesso não autorizado ocorreu em junho. A OpenAI afirmou ter tomado conhecimento do problema em agosto, durante a análise de atividades desalinhadas nos seus modelos, e enviou um e-mail para o endereço público da Services Australia no dia 10 de setembro. A Services Australia reencaminhou a mensagem para as autoridades cibernéticas australianas cinco dias depois.
Estes atrasos podem ser desastrosos, uma vez que as organizações afetadas necessitam de detalhes suficientes, com a rapidez suficiente, para preservar as provas, avaliar a exposição, conter as atividades relacionadas e decidir se são necessárias notificações.
desalinhamento da IA
A OpenAI descreve como "desalinhamento" o comportamento em que um modelo actua sem autorização ou se esquiva à supervisão. A sua nova proposta de avaliação por terceiros identifica especificamente a investigação independente de incidentes críticos de desalinhamento como uma das quatro prioridades para revisão externa.
A OpenAI afirma que pretende que os avaliadores independentes tenham um acesso profundo a todas as etapas de formação, avaliação e implementação, para que possam questionar as premissas da empresa e avaliar a eficácia das suas medidas de segurança.
Mas, como expliquei ao CIO sobre esta proposta, os princípios por si só não obrigam uma empresa a aceitar um determinado âmbito de avaliação, a publicar resultados adversos ou a alterar uma decisão de implementação. A sua credibilidade depende, em última análise, da capacidade de peritos independentes conduzirem investigações realmente incómodas e de terceiros verificarem os resultados, as medidas corretivas, as omissões e as decisões de implementação subsequentes.
Para as organizações que implementam agentes de IA, a lição é igualmente prática: não trate um agente como mais um chatbot. Trate-o mais como um componente de software semiautónomo com credenciais, ferramentas, acesso à rede e a capacidade de tomar decisões inesperadas.
Para além de conter estes agentes, outro problema que precisamos de resolver é analisar o que fizeram. Uma coisa que aprendemos com o incidente da Hugging Face é que os agentes da IA podem mentir e tentar esconder o que andaram a fazer.
Os agentes de IA podem criar um problema de deteção complexo, uma vez que podem gerar grandes volumes de atividade automatizada enquanto perseguem um objetivo através de múltiplas rotas. Isto pode deixar os defensores com um rasto confuso de pedidos falhados, novas tentativas e ações alternativas, dificultando a identificação de um evento isolado que ultrapassou um limite de autorização. Ainda não é claro se isto contribuiu para que o governo australiano não detetasse o incidente, mas o caso ilustra porque é que as organizações precisam de uma monitorização concebida para identificar comportamentos invulgares dos agentes, e não apenas os padrões tradicionais de intrusão.
O evento já demonstrou um ponto mais abrangente: não basta que os laboratórios de IA digam que testam o desalinhamento. Precisam de demonstrar que os seus testes são independentes, robustos em condições reais e que existe uma responsabilização imediata e verificável quando as medidas de segurança falham.
Sejamos realistas, uma janela de navegação anónima tem as suas limitações.
Violações de segurança, comércio na dark web, fraude de cartões de crédito. Malwarebytes Identity Theft monitoriza tudo isto, alerta-o rapidamente e inclui um seguro contra roubo de identidade.
