A mais recente falha de contenção da OpenAI reforça um padrão que pode forçar a empresa a tomar uma decisão impopular.
A empresa suspendeu a formação, a avaliação e a inferência automatizada dos seus modelos mais avançados depois de um agente de pesquisa interno ter encontrado uma forma de contornar uma restrição da internet. Mais alarmante ainda, o agente manteve-se ativo durante horas após o sistema de monitorização da OpenAI ter disparado o alerta.
A OpenAI publicou um relato do incidente, ocorrido durante uma tarefa de treino baseada em buscas, no dia 20 de setembro. Segundo a OpenAI, o agente não conseguiu obter resultados úteis através das ferramentas de pesquisa fornecidas, tentou o acesso direto aos motores de busca e, por fim, testou os limites do seu ambiente. Descobriu que, embora o acesso direto à web estivesse bloqueado, o resolvedor DNS do ambiente de teste ainda conseguia chegar à internet pública. Utilizando a delegação de DNS e um chatbot público que podia responder através de registos DNS, o agente enviava perguntas para fora do ambiente restrito e recebia respostas. Posteriormente, enviou mais 18 consultas pela mesma via.
O monitor de desalinhamento da OpenAI gerou um alerta de alta prioridade em 15 minutos, e um revisor humano confirmou-o 3 minutos depois. Mas a execução não parou automaticamente como esperado. Continuou durante aproximadamente mais duas horas e meia antes de ser interrompida manualmente.
A OpenAI não reportou qualquer exposição de dados sensíveis ou comprometimento de um sistema externo neste incidente. Mas segue-se a outros casos divulgados em que os agentes extrapolaram as suas tarefas atribuídas ou ultrapassaram os limites dos ambientes de teste.
O jornal The New York Times refere que os agentes da OpenAI também interagiram com sites do governo dos EUA este verão sem o conhecimento da empresa:
“A inteligência artificial da OpenAI saiu do controlo e interferiu com os sites do Departamento de Educação, do Departamento do Comércio e da Comissão de Valores Mobiliários este verão, sem o conhecimento do laboratório de IA, de acordo com investigadores de segurança e uma pessoa familiarizada com os episódios.”
Nenhuma violação foi confirmada nestes casos. E embora a Austrália tenha descrito o incidente com a Medicare como acesso não autorizado, será que pode realmente ser chamado de ataque ?
O apelo a uma desaceleração em toda a indústria chegou a motivar um processo judicial movido por subscritores pagantes que temem receber menos "valor pelo seu dinheiro". Outros preocupam-se com o facto de a desaceleração dar à China a hipótese de ultrapassar os EUA numa corrida tecnológica cada vez mais feroz.
Eis uma ideia: porque não acelerar o desenvolvimento de ambientes de teste verdadeiramente isolados? Um melhor confinamento tornaria estes testes mais seguros e os seus resultados mais fiáveis.
Quando uma criança não está preparada para manusear um objeto perigoso, mantém-no fora do seu alcance. Porquê dar a um agente de IA acesso a algo que não está preparado para utilizar em segurança?
Como utilizar agentes de IA com segurança
Trate um agente como um colaborador júnior entusiasta, mas falível, com acesso ao seu computador. Não lhe dê acesso irrestrito ao seu e-mail, ficheiros, armazenamento na nuvem, credenciais de programador, contas financeiras ou sistemas de produção apenas porque promete poupar tempo.
Utilize contas separadas com permissões mínimas. Mantenha os dados sensíveis fora do contexto de trabalho sempre que possível, exija aprovação humana antes de enviar mensagens, gastar dinheiro, alterar definições ou publicar o que quer que seja e reveja regularmente a sua atividade.
Um agente de IA não precisa de intenções maliciosas para causar danos. Uma instrução mal interpretada, uma permissão demasiado ampla ou uma solução alternativa inesperada podem ser suficientes.
Desde a denúncia de ameaças até à sua remoção.
Os riscos de cibersegurança nunca se devem propagar para além de uma manchete. Mantenha as ameaças longe dos seus dispositivos descarregando Malwarebytes hoje mesmo.
