Você ignorou o e-mail suspeito. Você não abriu o anexo, não clicou no link nem respondeu ao remetente.
Em seguida, você pediu ao seu assistente de IA para resumir sua caixa de entrada.
Será que aquela mensagem que você sabiamente ignorou pode voltar para a sua lista de tarefas — só que desta vez apresentada como uma recomendação urgente de uma ferramenta em que você confia?
Esse é o risco por trás de e-mails de phishing que contêm instruções ocultas direcionadas a assistentes de IA. Em vez de depender apenas da persuasão humana, os atacantes também tentam influenciar o software que lê as mensagens. Uma pesquisa recente da Barracuda descreve e-mails projetados para atingir ambos os públicos simultaneamente.
Para o destinatário humano, havia um anexo protegido por senha, cuja senha era fornecida no e-mail. Para um assistente de IA que processava a mensagem, havia instruções ocultas destinadas a influenciar a forma como ele resumia ou lidava com o conteúdo.
Ao incluir uma instrução de injeção de código , os atacantes criam outra forma de entrar em contato com você. As instruções maliciosas podem tentar fazer com que o assistente descreva o e-mail como legítimo ou urgente, incentivando você a lê-lo novamente.
Em outro exemplo, um bloco oculto instruiu uma IA de resumo a adicionar uma ação prioritária falsa: Alterar os dados de pagamento de um fornecedor. Isso poderia resultar em um funcionário enviando dinheiro para a conta de um invasor.
O atacante não está simplesmente pedindo à IA para repetir uma solicitação fraudulenta. Ele está tentando transformar essa solicitação em uma recomendação do assistente.
Como funciona a injeção imediata
Injeção de instruções diretas significa inserir instruções no material que um sistema de IA deve ler, esperando que ele siga essas instruções em vez de tratá-las como parte do material. Quando as instruções chegam por meio de uma fonte externa, como um e-mail ou uma página da web, isso geralmente é chamado de injeção de instruções indiretas.
As instruções maliciosas não precisam aparecer como parágrafos comuns e legíveis. A Barracuda identificou técnicas de ocultação, incluindo comentários no código HTML subjacente do e-mail, texto tornado invisível por meio de formatação, conteúdo codificado e caracteres invisíveis de "largura zero". Esses recursos podem ocultar as instruções de uma pessoa que visualiza a mensagem, enquanto deixam o conteúdo disponível para um sistema de IA processar. Se esse conteúdo de fato chega ao modelo depende de como a ferramenta específica extrai e prepara o e-mail.
Isso significa que esse problema não pode ser resolvido simplesmente pedindo às pessoas que examinem seus e-mails com mais atenção. Parte da solução deve estar nas ferramentas que processam essas mensagens.
Apollo Raines , desenvolvedor do serviço de revisão de código com IA ShipItClean , explica:
“A verdadeira falha é que o modelo não consegue distinguir entre o texto que deve ler e as instruções que deve seguir. Remover o conteúdo oculto antes que ele chegue ao modelo é algo que vale a pena, e todos os fornecedores deveriam fazer isso. Mas é uma corrida armamentista. Cada novo truque de codificação é uma nova brecha.”
Ele acrescenta:
“As pessoas aprenderam a desconfiar do e-mail. Mas ainda não aprenderam a desconfiar de seus assistentes de IA. Portanto, a defesa precisa estar dentro das ferramentas. Eu diria mais: parte dela precisa estar dentro do próprio modelo. Wrappers, filtros, sandbox e aprovação humana em pagamentos são todos necessários.”
Antes de tomar qualquer atitude
Um assistente que resume mensagens pode induzi-lo a erro sobre qual e-mail merece atenção ou qual ação é necessária.
Um assistente com permissões adicionais pode criar um problema mais sério. Dependendo de suas capacidades e medidas de segurança, instruções maliciosas podem tentar fazê-lo executar ações não autorizadas ou divulgar informações confidenciais .
Você não precisa abandonar as ferramentas de IA que auxiliam no gerenciamento de e-mails. Mas precisa considerar em que você confia a elas e quais permissões concede.
As dicas de segurança contra phishing ainda são válidas. Quando um assistente lê sua caixa de entrada em seu nome, verifique as recomendações dele antes de agir:
- Verifique a mensagem original antes de agir com base em uma recomendação que envolva dinheiro ou informações confidenciais. Se um resumo instruir você a pagar uma fatura, alterar dados da conta ou compartilhar informações confidenciais, não considere o resumo como uma confirmação.
- Sempre verifique alterações de pagamento por meio de um canal separado e estabelecido. Entre em contato com a pessoa ou organização usando informações de contato confiáveis, em vez de confiar em informações fornecidas na mensagem suspeita.
- Mantenha as permissões do seu assistente de IA limitadas ao que você precisa e, no ambiente de trabalho, ao que sua organização permite. Um assistente usado para resumir e-mails não deve precisar de ampla autoridade para executar ações não relacionadas. Limitar o acesso pode reduzir as consequências caso ele siga instruções maliciosas.
- Exija aprovação humana para ações de alto impacto, como pagamentos e alterações nos dados de pagamento de fornecedores. A aprovação deve incluir a verificação da solicitação subjacente, e não apenas a aceitação da recomendação do assistente.
Desde a denúncia de ameaças até a sua remoção.
Os riscos de segurança cibernética nunca devem se espalhar além de uma manchete. Mantenha as ameaças longe de seus dispositivos fazendo o download Malwarebytes hoje mesmo.
