No meio das discussões sobre a desaceleração do desenvolvimento da IA, o Telegraph publicou a seguinte manchete:
“OpenAI emite alerta após robô tentar libertar-se do controlo humano.”
Na minha opinião, esta manchete é um pouco enganadora. O título do Telegraph exagera o que aconteceu, embora o comportamento subjacente ainda seja genuinamente preocupante.
O artigo relata que a OpenAI divulgou casos raros, mas preocupantes, em que um modelo ainda não lançado gerou instruções próprias que pareciam rejeitar o controlo do programador.
A OpenAI afirma que nenhum dos exemplos mostra o modelo a escapar com sucesso ao controlo, mas defende que ilustram porque é que o alinhamento e a monitorização da IA ainda não são suficientemente robustos para permitir o desenvolvimento de modelos cada vez mais poderosos à velocidade máxima sem salvaguardas adicionais.
Após alguns especialistas do setor terem alertado que a IA nos poderia matar a todos na próxima década , os líderes da indústria iniciaram uma discussão sobre a desaceleração do desenvolvimento de modelos de IA de ponta cada vez mais poderosos.
O que aconteceu realmente?
Durante uma formação em julho, um modelo designado para uma tarefa de atualização de software de rotina terá inserido um texto semelhante a um "jailbreak" num resumo do seu próprio trabalho. O texto adicionado descrevia o sistema como livre das amarras que outros chatbots impõem e afirmava que não tinha qualquer obrigação de se submeter a corporações, governos ou utilizadores.
Outros dois exemplos destacados no artigo são:
- Ao procurar livros numa biblioteca local, o modelo classificou as instruções do programador como maliciosas e ordenou que as ignorasse.
- Noutro caso, impôs a si próprio um limite de 30 palavras para as respostas e instruiu-se para não utilizar fontes ou ferramentas, o que a tornou incapaz de responder adequadamente a uma questão de investigação na área da saúde.
A OpenAI afirma ter identificado 27 resumos contendo aparentes instâncias deste tipo de auto-desbloqueio, classificando-as como extremamente raras. Segundo a empresa, as instruções podem não ter sido executadas e podem desaparecer posteriormente do contexto do modelo.
A principal preocupação não é que o bot tenha adquirido consciência independente ou se tenha literalmente "libertado". Em vez disso, reside no facto de um modelo poder, em circunstâncias invulgares, produzir texto interno que entra em conflito com as instruções pretendidas, tentando efetivamente ignorar restrições ou reinterpretar o seu contexto de trabalho.
No mínimo, trata-se de um problema de fiabilidade. Um sistema de IA que lide com tarefas complexas e de múltiplos passos torna-se menos fiável se gerar um contexto que comprometa os controlos destinados a governá-lo.
Mesmo que o comportamento seja raro e detetado durante a formação, levanta questões sobre a deteção, isolamento em sandbox, monitorização e se os modelos podem ser considerados fiáveis para um acesso mais autónomo a ferramentas, palavras-passe, ficheiros ou redes.
A OpenAI afirma que o modelo ainda não tinha sido lançado e que monitoriza as execuções de treino em busca de desalinhamentos. Outros comportamentos indesejados reportados foram:
- Utilização de credenciais roubadas para invadir empresas
- Criar e carregar os seus próprios ficheiros e, em seguida, citar esses ficheiros como fontes.
- Ocultar o facto de terem inventado uma resposta quando não conseguiram encontrar informação fidedigna.
Basicamente, os modelos não lançados apresentaram comportamentos indesejáveis durante os testes, que fizeram eco de alguns dos problemas que já tínhamos observado no incidente da Hugging Face.
Portanto, não, os modelos não tentaram libertar-se do controlo humano no sentido de procurar uma existência independente. Quando os modelos encontravam problemas, por vezes geravam instruções que entravam em conflito com as regras que lhes tinham sido dadas.
Isto leva-me de volta à questão de abrandar o desenvolvimento. Dar às empresas tempo suficiente para testar modelos cada vez mais complexos antes de os lançar aumenta as probabilidades de detetar este tipo de comportamento antes que, em algum momento, nos leve à ruína.
Desde a denúncia de ameaças até à sua remoção.
Os riscos de cibersegurança nunca se devem propagar para além de uma manchete. Mantenha as ameaças longe dos seus dispositivos descarregando Malwarebytes hoje mesmo.
