Zignorowałeś podejrzaną wiadomość e-mail. Nie otworzyłeś załącznika, nie kliknąłeś linku ani nie odpowiedziałeś nadawcy.
Następnie poprosiłeś swojego asystenta AI o podsumowanie skrzynki odbiorczej.
Czy wiadomość, której mądrze unikałeś, może powrócić na Twoją listę rzeczy do zrobienia, tym razem jednak przedstawiona jako pilna rekomendacja z narzędzia, któremu ufasz?
To właśnie ryzyko kryjące się za wiadomościami phishingowymi zawierającymi ukryte instrukcje skierowane do asystentów AI. Zamiast polegać wyłącznie na przekonaniu użytkownika, atakujący próbują również wpłynąć na oprogramowanie odczytujące wiadomości. Najnowsze badania firmy Barracuda opisują wiadomości e-mail, które mają na celu dotarcie do obu grup odbiorców jednocześnie.
Odbiorca, człowiek, otrzymał załącznik zabezpieczony hasłem, którego hasło podano w e-mailu. Asystent AI przetwarzający wiadomość miał ukryte instrukcje, które miały wpłynąć na sposób, w jaki podsumowywał lub przetwarzał treść.
Umieszczając w wiadomości e-mail natychmiastowy kod , atakujący zapewniają sobie kolejny sposób na skontaktowanie się z Tobą. Złośliwe instrukcje mogą sprawić, że asystent określi wiadomość e-mail jako legalną lub pilną, zachęcając Cię do ponownego jej przeczytania.
W innym przykładzie ukryty blok polecił podsumowującej sztucznej inteligencji dodanie fałszywej akcji priorytetowej: zmianę danych płatniczych dostawcy. Mogło to skutkować wysłaniem pieniędzy przez pracownika na konto atakującego.
Atakujący nie tylko prosi sztuczną inteligencję o powtórzenie fałszywego żądania. Próbuje przekształcić to żądanie w rekomendację asystenta.
Jak działa szybka iniekcja
Wstrzykiwanie natychmiastowe oznacza umieszczanie instrukcji w materiale, który system AI ma odczytać, z nadzieją, że będzie się do nich stosował, zamiast traktować je jako część materiału. Gdy instrukcje docierają ze źródła zewnętrznego, takiego jak e-mail lub strona internetowa, często nazywa się to pośrednim wstrzykiwaniem natychmiastowym.
Złośliwe instrukcje nie muszą pojawiać się w postaci zwykłych, czytelnych akapitów. Barracuda zidentyfikowała techniki ukrywania, takie jak komentarze w kodzie HTML wiadomości e-mail, tekst ukryty za pomocą stylów, zakodowana treść oraz niewidoczne znaki „o zerowej szerokości”. Mogą one zasłaniać instrukcje osobie czytającej wiadomość, pozostawiając jednocześnie treść dostępną do przetworzenia przez system sztucznej inteligencji. To, czy treść ta faktycznie dotrze do modelu, zależy od sposobu, w jaki dane narzędzie wyodrębni i przygotuje wiadomość e-mail.
Oznacza to, że tego problemu nie da się rozwiązać, po prostu prosząc ludzi o dokładniejsze przeglądanie swoich e-maili. Część obrony musi tkwić w narzędziach przetwarzających te wiadomości.
Apollo Raines , twórca usługi przeglądu kodu AI ShipItClean , wyjaśnia:
„Prawdziwą wadą jest to, że model nie potrafi odróżnić tekstu, który ma odczytać, od instrukcji, które powinien wykonać. Usuwanie ukrytej zawartości przed dotarciem do modelu jest warte zachodu i każdy dostawca powinien to robić. Ale to wyścig zbrojeń. Każda nowa sztuczka w kodowaniu to nowa luka”.
Dodaje:
„Ludzie nauczyli się nie ufać e-mailom. Nie nauczyli się nie ufać swojemu asystentowi AI. Dlatego obrona musi tkwić w samych narzędziach. Posunąłbym się o krok dalej: część z nich musi tkwić w samym modelu. Wrapery, filtry, sandboxing i ludzkie podpisywanie płatności – to wszystko jest niezbędne”.
Przed podjęciem działań
Asystent, który podsumowuje wiadomości, może wprowadzić Cię w błąd co do tego, która wiadomość e-mail wymaga uwagi lub jakie działanie należy podjąć.
Asystent z dodatkowymi uprawnieniami może stwarzać poważniejszy problem. W zależności od jego możliwości i zabezpieczeń, złośliwe instrukcje mogą próbować zmusić go do wykonania nieautoryzowanych działań lub ujawnienia poufnych informacji .
Nie musisz rezygnować z narzędzi AI, które pomagają w obsłudze poczty e-mail. Musisz jednak zastanowić się, w jakim zakresie im ufasz i jakie uprawnienia im przyznajesz.
Znana rada dotycząca phishingu nadal obowiązuje. Gdy asystent czyta Twoją skrzynkę odbiorczą w Twoim imieniu, sprawdź jego rekomendacje, zanim podejmiesz działanie:
- Sprawdź oryginalną wiadomość, zanim podejmiesz działanie w oparciu o rekomendację dotyczącą pieniędzy lub poufnych informacji. Jeśli podsumowanie zawiera polecenie zapłaty faktury, zmiany danych konta lub udostępnienia poufnych informacji, nie traktuj samego podsumowania jako weryfikacji.
- Zawsze weryfikuj zmiany płatności za pośrednictwem oddzielnego, sprawdzonego kanału. Skontaktuj się z osobą lub organizacją, używając danych, którym już ufasz, zamiast polegać na informacjach zawartych w podejrzanej wiadomości.
- Ogranicz uprawnienia swojego asystenta AI do tego, czego potrzebujesz, a w pracy do tego, na co zezwala Twoja organizacja. Asystent używany do podsumowywania wiadomości e-mail nie powinien potrzebować szerokich uprawnień do wykonywania niezwiązanych z tym działań. Ograniczenie dostępu może zmniejszyć konsekwencje, jeśli asystent będzie wykonywał złośliwe instrukcje.
- Wymagaj zatwierdzenia przez człowieka działań o dużym znaczeniu, takich jak płatności i zmiany danych płatności dla dostawców. Zatwierdzenie powinno obejmować sprawdzenie podstawowego żądania, a nie tylko akceptację rekomendacji asystenta.
Od zgłaszania zagrożeń po ich usuwanie.
Zagrożenia cyberbezpieczeństwa nigdy nie powinny wykraczać poza nagłówek. Chroń swoje urządzenia przed zagrożeniami, pobierając Malwarebytes już dziś.
