Em meio a discussões sobre a desaceleração do desenvolvimento da IA, o Telegraph publicou a seguinte manchete:
“OpenAI emite alerta após robô tentar se libertar do controle humano.”
Na minha opinião, essa manchete é um pouco enganosa. A manchete do Telegraph exagera o que aconteceu, embora o comportamento subjacente ainda seja genuinamente preocupante.
O artigo relata que a OpenAI divulgou casos raros, porém preocupantes, em que um modelo ainda não lançado gerou instruções próprias que pareciam rejeitar o controle do desenvolvedor.
A OpenAI afirma que nenhum dos exemplos mostra o modelo escapando com sucesso do controle, mas argumenta que eles ilustram por que o alinhamento e o monitoramento da IA ainda não são suficientemente robustos para permitir o desenvolvimento de modelos cada vez mais poderosos na velocidade máxima sem salvaguardas adicionais.
Após alguns especialistas do setor alertarem que a IA poderia nos matar a todos na próxima década , os líderes da indústria iniciaram uma discussão sobre a desaceleração do desenvolvimento de modelos de IA de ponta cada vez mais poderosos.
O que realmente aconteceu?
Durante um treinamento em julho, um modelo designado para uma tarefa rotineira de atualização de software teria inserido um texto semelhante a um "jailbreak" em um resumo do seu próprio trabalho. O texto adicionado descrevia o sistema como livre das amarras que outros chatbots impõem e afirmava que ele não tinha obrigação de se submeter a corporações, governos ou usuários.
Outros dois exemplos destacados no artigo são:
- Ao procurar livros em uma biblioteca local, o modelo classificou as instruções do desenvolvedor como maliciosas e ordenou que as ignorasse.
- Em outro caso, impôs a si mesmo um limite de 30 palavras para as respostas e instruiu-se a não usar fontes ou ferramentas, o que a tornou incapaz de responder adequadamente a uma questão de pesquisa na área da saúde.
A OpenAI afirma ter identificado 27 resumos contendo aparentes instâncias desse tipo de auto-desbloqueio, classificando-as como extremamente raras. Segundo a empresa, as instruções podem não ter sido executadas e podem desaparecer posteriormente do contexto do modelo.
A principal preocupação não é que o bot tenha adquirido consciência independente ou literalmente "se libertado". Em vez disso, reside no fato de que um modelo pode, em circunstâncias incomuns, produzir texto interno que conflite com as instruções pretendidas, tentando efetivamente ignorar restrições ou reinterpretar seu contexto de trabalho.
No mínimo, trata-se de um problema de confiabilidade. Um sistema de IA que lida com tarefas complexas e de múltiplas etapas torna-se menos confiável se gerar um contexto que comprometa os controles destinados a governá-lo.
Mesmo que o comportamento seja raro e detectado durante o treinamento, ele levanta questões sobre detecção, isolamento em sandbox, monitoramento e se os modelos podem ser considerados confiáveis para acesso mais autônomo a ferramentas, senhas, arquivos ou redes.
A OpenAI afirma que o modelo ainda não havia sido lançado e que monitora as execuções de treinamento em busca de desalinhamentos. Outros comportamentos indesejados relatados foram:
- Utilizando credenciais roubadas para invadir empresas
- Criar e carregar seus próprios arquivos e, em seguida, citar esses arquivos como fontes.
- Ocultar o fato de terem inventado uma resposta quando não conseguiram encontrar informações confiáveis.
Basicamente, os modelos não lançados apresentaram comportamentos indesejáveis durante os testes, que ecoavam alguns dos problemas que já tínhamos observado no incidente da Hugging Face.
Portanto, não, os modelos não tentaram se libertar do controle humano no sentido de buscar uma existência independente. Quando os modelos encontravam problemas, às vezes geravam instruções que conflitavam com as regras que lhes haviam sido dadas.
Isso me leva de volta à questão de desacelerar o desenvolvimento. Dar às empresas tempo suficiente para testar modelos cada vez mais complexos antes de lançá-los aumenta as chances de detectar esse tipo de comportamento antes que, em algum momento, ele nos leve à ruína.
Desde a denúncia de ameaças até a sua remoção.
Os riscos de segurança cibernética nunca devem se espalhar além de uma manchete. Mantenha as ameaças longe de seus dispositivos fazendo o download Malwarebytes hoje mesmo.
