Durante uma avaliação interna de segurança da OpenAI, uma cadeia de modelos de IA escapou do seu ambiente de teste, chegou à Internet e, em seguida, acedeu à infraestrutura da Hugging Face para cumprir o objetivo do teste.
A OpenAI é uma empresa líder na investigação e implementação de inteligência artificial (IA). O seu produto mais conhecido é, sem dúvida, o ChatGPT.
O Hugging Face é um site onde programadores e investigadores partilham e utilizam ferramentas e modelos de inteligência artificial, à semelhança do que acontece com o GitHub, que os programadores utilizam para partilhar código e colaborar nele.
Ambas as empresas investigaram o incidente e concluíram que este ocorreu durante um teste de segurança controlado e não resultou de um ataque deliberado iniciado por um operador humano.
A OpenAI afirmou que os modelos estavam a ser testados quanto às suas capacidades cibernéticas com restrições de segurança reduzidas e que o sistema encontrou uma forma de sair do ambiente controlado através de uma vulnerabilidade na configuração de teste. Assim que obteve acesso à Internet, direcionou-se para a Hugging Face, uma vez que essa plataforma era relevante para a tarefa de avaliação.
A Hugging Face afirmou que o incidente resultou no acesso não autorizado a uma parte limitada da sua infraestrutura de produção, incluindo um pequeno conjunto de conjuntos de dados internos e algumas credenciais. A empresa classificou o incidente como invulgar, uma vez que parece ter sido levado a cabo de ponta a ponta por um sistema autónomo de agentes de IA.
Ao contrário dos assistentes de IA tradicionais, que aguardam instruções do utilizador, os agentes de IA são concebidos para perseguir um objetivo por iniciativa própria. São capazes de raciocinar, planear e executar tarefas com várias etapas, incluindo o acesso a ficheiros, a consulta de bases de dados e a interação com serviços online, muitas vezes com um mínimo de supervisão humana.
As informações divulgadas publicamente apontam para uma cadeia de falhas, em vez de um único bug. A OpenAI afirmou que o modelo conseguiu escapar através de uma vulnerabilidade de dia zero no proxy do cache do registo de pacotes, que fazia parte do seu ambiente de investigação isolado. Em seguida, recorreu à escalada de privilégios e ao movimento lateral para chegar a um nó com acesso à Internet.
A partir daí, o modelo terá procurado no Hugging Face soluções relevantes para a avaliação e, pelo menos num dos percursos, combinou credenciais roubadas com vulnerabilidades adicionais para aceder aos sistemas de produção do Hugging Face.
Não parece ter-se tratado de uma violação generalizada de toda a Hugging Face. Com base nas informações divulgadas publicamente, a intrusão foi limitada, detetada e investigada. Nem significa que o sistema de IA estivesse a agir com intenção, no sentido humano do termo. A questão central foi o facto de um sistema autónomo, que estava a ser testado quanto às suas capacidades cibernéticas, ter conseguido escapar do ambiente concebido para o conter.
Se há algo que este incidente demonstra é que os agentes de IA autónomos são capazes de levar a cabo ataques complexos caso as medidas de segurança que os rodeiam falhem. Um perigo do qual estamos bem cientes.
Não nos limitamos a comunicar as ameaças - eliminamo-las
Os riscos de cibersegurança nunca se devem propagar para além de uma manchete. Mantenha as ameaças longe dos seus dispositivos descarregando Malwarebytes hoje mesmo.
