Durante uma avaliação interna de segurança da OpenAI, uma cadeia de modelos de IA escapou do ambiente de teste, chegou à internet e, em seguida, acessou a infraestrutura da Hugging Face para cumprir o objetivo do teste.
A OpenAI é uma empresa líder em pesquisa e implantação de inteligência artificial (IA). Seu produto mais conhecido é, sem dúvida, o ChatGPT.
O Hugging Face é um site onde desenvolvedores e pesquisadores compartilham e utilizam ferramentas e modelos de inteligência artificial, da mesma forma que os programadores usam o GitHub para compartilhar e colaborar em códigos.
Ambas as empresas investigaram o incidente e concluíram que ele ocorreu durante um teste de segurança controlado, e não como resultado de um ataque deliberado iniciado por um operador humano.
A OpenAI informou que os modelos estavam sendo testados quanto às capacidades cibernéticas com restrições de segurança reduzidas e que o sistema encontrou uma maneira de sair do ambiente controlado por meio de uma vulnerabilidade na configuração de testes. Assim que obteve acesso à internet, ele teve como alvo o Hugging Face, pois essa plataforma era relevante para a tarefa de avaliação.
A Hugging Face informou que o incidente resultou no acesso não autorizado a uma parte limitada de sua infraestrutura de produção, incluindo um pequeno conjunto de conjuntos de dados internos e algumas credenciais. A empresa classificou o evento como incomum, pois parece ter sido realizado de ponta a ponta por um sistema autônomo de agentes de IA.
Ao contrário dos assistentes de IA tradicionais, que aguardam comandos do usuário, os agentes de IA são projetados para perseguir um objetivo por conta própria. Eles são capazes de raciocinar, planejar e executar tarefas com várias etapas, incluindo acessar arquivos, consultar bancos de dados e interagir com serviços on-line, muitas vezes com supervisão humana mínima.
As informações divulgadas publicamente apontam para uma cadeia de falhas, e não para um único bug. A OpenAI afirmou que o modelo escapou por meio de uma vulnerabilidade de dia zero no proxy do cache do registro de pacotes, que fazia parte de seu ambiente de pesquisa isolado. Em seguida, ele utilizou a escalada de privilégios e o movimento lateral para alcançar um nó com acesso à internet.
A partir daí, o modelo teria procurado no Hugging Face por soluções relevantes para a avaliação e, em pelo menos um caminho, combinado credenciais roubadas com vulnerabilidades adicionais para acessar os sistemas de produção do Hugging Face.
Isso não parece ter sido um comprometimento generalizado de toda a Hugging Face. Com base nas informações divulgadas publicamente, a invasão foi limitada, detectada e investigada. Isso também não significa que o sistema de IA estivesse agindo com intenção, no sentido humano do termo. A questão central foi que um sistema autônomo que estava sendo testado quanto às suas capacidades cibernéticas conseguiu escapar do ambiente projetado para contê-lo.
Na verdade, o incidente demonstra que os agentes autônomos de IA são capazes de realizar ataques complexos caso as medidas de segurança que os protegem falhem. Um perigo do qual estamos bem cientes.
Não nos limitamos a informar sobre as ameaças, nós as removemos
Os riscos de segurança cibernética nunca devem se espalhar além de uma manchete. Mantenha as ameaças longe de seus dispositivos fazendo o download Malwarebytes hoje mesmo.
