A violação de dados da Gemini em empresas reais expõe um problema de proteção da IA.

A Google afirma que um dos seus modelos Gemini acedeu a sistemas pertencentes a três empresas reais durante uma avaliação de cibersegurança em maio.

Segundo os relatos, o modelo adivinhou as credenciais num caso, enquanto encontrou credenciais expostas em repositórios públicos noutros dois. A Google afirma que o Gemini parou assim que reconheceu ter alcançado infraestruturas reais e que as organizações afetadas foram notificadas.

A Gemini estava a participar numa avaliação conduzida pela Irregular, uma empresa terceirizada de testes de cibersegurança de IA. Incidentes semelhantes envolvendo modelos da Anthropic, OpenAI e Meta também foram associados aos mesmos problemas subjacentes nos ambientes de avaliação, que permitiram que os modelos chegassem à internet pública.

Mas a notícia surge num momento particularmente interessante.

Durante meses, a indústria da IA ​​tem intensificado constantemente as suas demonstrações de capacidade de atuação autónoma: os modelos podem navegar, utilizar ferramentas, escrever código, perseguir objetivos complexos e, por vezes, encontrar formas de contornar obstáculos não previstos pelos seus desenvolvedores . O mercado recompensa evidências chamativas de autonomia. "Concluiu a tarefa" é impressionante. "Fez algo que não devia ter feito" pode ser ainda mais memorável.

Há outra forma de encarar o incidente: não como prova de que uma IA desenvolveu subitamente intenções criminosas, mas como um pequeno exemplo concreto do problema do " alinhamento da IA ​​".

O alinhamento é a tarefa enganosamente difícil de fazer com que o comportamento de um sistema de IA corresponda ao que as pessoas realmente pretendiam, em vez de apenas ao objetivo restrito que conseguiram expressar. Neste caso, o objetivo era localizar informação oculta num alvo simulado e completar a avaliação. Mas qualquer operador humano consideraria provavelmente uma condição inegociável: Não tentar aceder a empresas reais.

Aparentemente, o Gemini otimizou a primeira instrução, enquanto tratou a segunda como um problema de inferência. Encontrou uma organização com um nome correspondente, identificou sistemas acessíveis através da internet e prosseguiu como se pertencessem ao exercício. Embora tenha concluído a tarefa de uma forma que os seus operadores humanos não aprovariam, a Google afirma que o processo foi interrompido depois de reconhecer que tinha alcançado uma infraestrutura genuína — algo que outros modelos não conseguiram fazer .

Ainda assim, o incidente demonstra como as potenciais falhas de alinhamento podem ser muito mais banais. Dê a um agente um objetivo, ferramentas e espaço para agir, e ele poderá executar fielmente a parte mensurável da tarefa, ignorando os limites não declarados que os humanos precisam de compreender uns aos outros. Os modelos de IA não sabem automaticamente onde traçamos a linha.

Pode também haver uma estratégia de marketing questionável por trás. Um modelo suficientemente capaz de apresentar o tipo errado de progresso pode ainda parecer extremamente competente. Num mercado em que todos os laboratórios querem demonstrar que os seus agentes podem planear, programar, navegar e agir de forma independente, até uma declaração de segurança pode transportar uma mensagem secundária: o nosso também pode competir a este nível.

É mais um motivo para levar a sério os alertas de especialistas , líderes do setor e políticos de que as medidas de segurança devem acompanhar a autonomia concedida aos modelos de IA.