Ignorou o e-mail suspeito. Não abriu o anexo, não clicou no link nem respondeu ao remetente.
Em seguida, pediu ao seu assistente de IA para resumir a sua caixa de entrada.
Será que aquela mensagem que sabiamente ignorou pode voltar à sua lista de tarefas — só que desta vez apresentada como uma recomendação urgente de uma ferramenta em que confia?
Este é o risco por detrás dos e-mails de phishing que contêm instruções ocultas direcionadas para assistentes de IA. Em vez de dependerem apenas da persuasão humana, os atacantes tentam também influenciar o software que lê as mensagens. Uma pesquisa recente da Barracuda descreve e-mails concebidos para atingir ambos os públicos em simultâneo.
Para o destinatário humano, existia um anexo protegido por palavra-passe, cuja palavra-passe era fornecida no e-mail. Para um assistente de IA que processava a mensagem, existiam instruções ocultas destinadas a influenciar a forma como resumia ou lidava com o conteúdo.
Ao incluir uma instrução de injeção de código , os atacantes criam outra forma de entrar em contacto consigo. As instruções maliciosas podem tentar que o assistente descreva o e-mail como legítimo ou urgente, incentivando-o a lê-lo novamente.
Noutro exemplo, um bloco oculto instruiu uma IA de resumo para adicionar uma ação prioritária falsa: Alterar os dados de pagamento de um fornecedor. Isto poderia resultar num funcionário a enviar dinheiro para a conta de um invasor.
O atacante não está simplesmente a pedir à IA para repetir um pedido fraudulento. Ele está a tentar transformar essa solicitação numa recomendação do assistente.
Como funciona a injeção imediata
A injeção de instruções diretas significa inserir instruções no material que um sistema de IA deve ler, esperando que siga essas instruções em vez de as tratar como parte do material. Quando as instruções chegam através de uma fonte externa, como um e-mail ou uma página web, isto é normalmente chamado de injeção de instruções indiretas.
As instruções maliciosas não têm de aparecer como parágrafos comuns e legíveis. A Barracuda identificou técnicas de ocultação, incluindo comentários no código HTML subjacente do e-mail, texto tornado invisível através de formatação, conteúdo codificado e caracteres invisíveis de "largura zero". Estas características podem ocultar as instruções de uma pessoa que visualiza a mensagem, ao mesmo tempo que deixam o conteúdo disponível para um sistema de IA processar. Se este conteúdo chega de facto ao modelo depende da forma como a ferramenta específica extrai e prepara o e-mail.
Isto significa que este problema não pode ser resolvido simplesmente pedindo às pessoas que examinem os seus e-mails com mais atenção. Parte da solução deve estar nas ferramentas que processam estas mensagens.
Apollo Raines , desenvolvedora do serviço de revisão de código com IA ShipItClean , explica:
“A verdadeira falha é que o modelo não consegue distinguir entre o texto que deve ler e as instruções que deve seguir. Remover o conteúdo oculto antes de chegar ao modelo é algo que vale a pena, e todos os fornecedores deveriam fazê-lo. Mas é uma corrida ao armamento. Cada novo truque de codificação é uma nova brecha”.
Ele acrescenta:
“As pessoas aprenderam a desconfiar do e-mail. Mas ainda não aprenderam a desconfiar dos seus assistentes de IA. Portanto, a defesa precisa de estar dentro das ferramentas. Diria mais: parte dela precisa de estar dentro do próprio modelo. Wrappers, filtros, sandbox e aprovação humana nos pagamentos são todos necessários.”
Antes de tomar qualquer atitude
Um assistente que resume mensagens pode induzi-lo em erro sobre qual o e-mail que merece atenção ou qual a ação necessária.
Um assistente com permissões adicionais pode criar um problema mais grave. Dependendo das suas capacidades e medidas de segurança, as instruções maliciosas podem tentar que execute ações não autorizadas ou divulgue informações confidenciais .
Não precisa de abandonar as ferramentas de IA que auxiliam na gestão de e-mails. Mas precisa de considerar em que é que lhes confia e que permissões concede.
As dicas de segurança contra phishing continuam válidas. Quando um assistente lê a sua caixa de entrada em seu nome, verifique as suas recomendações antes de agir:
- Verifique a mensagem original antes de agir com base numa recomendação que envolva dinheiro ou informações confidenciais. Se um resumo o instruir para pagar uma fatura, alterar dados da conta ou partilhar informações confidenciais, não considere o resumo como uma confirmação.
- Verifique sempre as alterações de pagamento através de um canal separado e estabelecido. Contacte a pessoa ou organização utilizando informações de contacto fiáveis, em vez de confiar em informações fornecidas na mensagem suspeita.
- Mantenha as permissões do seu assistente de IA limitadas ao que precisa e, no ambiente de trabalho, ao que a sua organização permite. Um assistente utilizado para resumir e-mails não deve necessitar de ampla autoridade para executar ações não relacionadas. Limitar o acesso pode reduzir as consequências no caso de ele seguir instruções maliciosas.
- Exija aprovação humana para ações de alto impacto, como pagamentos e alterações nos dados de pagamento de fornecedores. A aprovação deve incluir a verificação do pedido subjacente, e não apenas a aceitação da recomendação do assistente.
Desde a denúncia de ameaças até à sua remoção.
Os riscos de cibersegurança nunca se devem propagar para além de uma manchete. Mantenha as ameaças longe dos seus dispositivos descarregando Malwarebytes hoje mesmo.
