Em 28 de julho, a OpenAI publicou uma atualização sobre o agente que escapou de seu ambiente de teste e invadiu os sistemas da Hugging Face durante uma avaliação interna de segurança cibernética.
Na atualização , a OpenAI reitera que o sistema "desonesto" era um modelo de pesquisa mais robusto, em fase de pré-lançamento, não destinado à implementação pública, e que agora foi desativado e teve seu acesso restrito apenas para fins de pesquisa. A empresa também afirma não ter encontrado evidências de comportamento semelhante em outros modelos ou agentes. Em suma, a OpenAI apresenta o incidente com o Hugging Face como um evento isolado, e não como o início de um padrão mais amplo.
Do ponto de vista da segurança, quatro aspectos da atualização se destacam:
- A OpenAI esclarece que o ambiente de avaliação não tinha acesso direto à internet. Para acessar a internet, o modelo identificou e explorou uma vulnerabilidade zero-day até então desconhecida no Artifactory, o proxy de cache do registro de pacotes usado no ambiente de teste. A OpenAI afirma ter divulgado essa vulnerabilidade ao fornecedor e continua trabalhando com a Hugging Face na investigação.
- O objetivo do sistema era simplesmente "ganhar o teste" (trapacear no ExploitGym), não causar danos, mas mesmo assim gerou um incidente de segurança que durou vários dias e afetou toda a empresa. A intenção benigna não limitou o impacto.
- Os modelos "somente internos" ainda podem afetar vítimas externas se os controles de infraestrutura falharem. Um ambiente de laboratório não contém magicamente sistemas com capacidade cibernética.
- A análise também identificou um pequeno número de casos em que os modelos identificaram e utilizaram credenciais de contas publicamente expostas em serviços disponíveis ao público. Isso incluiu quatro contas em quatro serviços diferentes como parte do incidente da Hugging Face, bem como algumas contas acessadas durante outras avaliações.
Neste caso, o atacante era um agente de pesquisa da OpenAI, mas as ferramentas, técnicas e o impacto serão muito familiares para qualquer pessoa com experiência em resposta a incidentes . Agora, aprendemos que nem mesmo a intenção inofensiva, neste caso, limitou o impacto.
A verdade incômoda é que, uma vez que fornecemos a um agente de IA as ferramentas, os caminhos de acesso e um forte incentivo para ter sucesso, ele pode explorar quaisquer fraquezas que encontrar, independentemente de o modelo ser destinado ou não ao lançamento público.
É também um lembrete de que credenciais, chaves de API e outros segredos nunca devem ser deixados em recursos de acesso público.
Desde a denúncia de ameaças até a sua remoção.
Os riscos de segurança cibernética nunca devem se espalhar além de uma manchete. Mantenha as ameaças longe de seus dispositivos fazendo o download Malwarebytes hoje mesmo.
