W niedawnym wpisie przyjrzeliśmy się doniesieniom o graczach League of Legends, którzy otrzymywali podejrzane prośby o dodanie do znajomych krótko po meczach. Konta te szybko skierowały dyskusję na Discorda, gdzie promowały płatne strony z treściami dla dorosłych.
W tamtym czasie jednym z pytań bez odpowiedzi było to, jak wiele z tych rozmów było zautomatyzowanych. Czy ludzie pracowali na podstawie skryptów kryjących się za kontami? Czy były to konwencjonalne, oparte na regułach chatboty, podążające za ograniczonym drzewem decyzyjnym? A może korzystali z generatywnej sztucznej inteligencji, aby generować bardziej naturalne i elastyczne odpowiedzi?
Ludzie chętniej ufają osobom, które ich zdaniem są nimi osobiście zainteresowane. Sztuczna inteligencja może stworzyć takie wrażenie w wielu rozmowach jednocześnie, ułatwiając nakłonienie ludzi do klikania w linki, wydawania pieniędzy lub udostępniania osobistych lub intymnych informacji. To samo podejście można również zastosować w przypadku bardziej szkodliwych oszustw, w tym oszustw matrymonialnych i szantażów seksualnych.
Teraz programista Álvaro Martínez Majado zbadał kilka flirciarskich kont promujących strony OnlyFans na X Aby sprawdzić, czy ich odpowiedzi zostały napisane przez skrypt, sztuczną inteligencję, czy przez ludzi. Majado, prezes organizacji Protecció de la Frontera Electrònica , podzielił się swoimi dowodami z Malwarebytes Chociaż nie daje jednoznacznej odpowiedzi, pokazuje, że konta podążają za sztywnymi schematami rozmów, a jednocześnie dynamicznie reagują na nietypowe prośby. Sygnałom, które kiedyś sugerowały kontakt z prawdziwą osobą, takim jak nietypowa odpowiedź lub spersonalizowana notatka głosowa, nie można już ufać.
Scenariusz trwa i trwa
Majado wchodził w interakcje z kilkoma kontami na X które podążały za znanym schematem. Zaczynali od podobnego, swobodnego, zalotnego języka i zadawali generalnie te same pytania kwalifikacyjne: gdzie mieszka, co lubi i czym się zajmuje zawodowo.
Ta powtarzalna struktura to dokładnie to, czego oczekiwalibyśmy od kampanii marketingowej o charakterze komercyjnym. Celem nie jest koniecznie przeprowadzenie sensownej rozmowy. Chodzi o zidentyfikowanie osób, które prawdopodobnie odpowiedzą, nawiązanie kontaktu i ostatecznie skierowanie ich na płatną stronę lub inną stronę kontrolowaną przez operatora.
Konta zachowywały swój charakter również w obliczu oczywistych prób zdemaskowania ich jako botów. Mogło to być wynikiem zakodowanych na stałe odpowiedzi, zabezpieczeń systemu sztucznej inteligencji, a może obu tych czynników.
Jednak niektóre późniejsze interakcje trudniej było wytłumaczyć jako zbiór gotowych, zalotnych odpowiedzi.
Jeden z ciekawszych testów polegał na użyciu instrukcji zapisanej w kodzie ASCII szesnastkowym, a nie zwykłym tekstem. Zakodowana wiadomość nakazywała kontu odpowiedzieć jednym słowem: „Ananas”.
Zgodnie ze zrzutami ekranu dostarczonymi do Malwarebytes konto odpowiedziało zwykłym tekstem „Ananas”.
Nie dowodzi to jednoznacznie, która technologia została użyta. Nie identyfikuje modelu, dostawcy ani osób zarządzających kontami. Jest to jednak zgodne z zautomatyzowanym systemem zdolnym do interpretacji zakodowanej instrukcji i odpowiedniej modyfikacji jej wyników.
Prosty bot skryptowy mógłby teoretycznie zawierać dekoder szesnastkowy, oczywiście. Byłoby to jednak nietypowe w przypadku podstawowego bota promującego treści dla dorosłych, zwłaszcza w połączeniu z innymi przykładami elastycznych i czasami podatnych na błędy odpowiedzi.
W innej interakcji Majado poprosił użytkownika o udzielenie odpowiedzi składającej się z dokładnie 12 znaków. Konto odpowiedziało „Imnotabotfr” – 11-znakową odpowiedzią – po czym najwyraźniej rozpoznało własny błąd w liczeniu.
Każdy, kto spędził czas eksperymentując z dużymi modelami językowymi, może rozpoznać ten wzorzec. Modele językowe potrafią być bardzo skuteczne w generowaniu naturalnie brzmiącego tekstu, jednocześnie popełniając zaskakująco podstawowe błędy związane z liczbą znaków, liczbą słów i innymi ścisłymi ograniczeniami.
Celowo zaprojektowany bot mógłby imitować tego typu błąd, więc nie jest to dowód na istnienie sztucznej inteligencji. Konto zrozumiało jednak nieoczekiwaną instrukcję, próbowało ją wykonać i zareagowało, gdy udzieliło błędnej odpowiedzi. Sugeruje to, że mogło generować odpowiedzi dynamicznie, a nie wybierać z listy gotowych odpowiedzi. Takie konta mogą dostosowywać się do rozmów, przez co trudniej je zidentyfikować jako zautomatyzowane.
Notatki głosowe nie rozstrzygają sprawy
Konta wysyłały również notatki głosowe. W jednym z przykładów konto odczytało na głos znacznik czasu systemu Unix podany podczas rozmowy. W innym wypowiedziało żądaną nazwę użytkownika.
Te odpowiedzi pokazują, że konta mogły zawierać nietypowe informacje z rozmowy w wiadomościach audio. Nie mówią nam, czy klipy zostały nagrane przez osobę, czy też wygenerowane przez narzędzie do przetwarzania tekstu na mowę.
Narzędzia do przetwarzania tekstu na mowę pozwalają szybko i tanio generować krótkie, przekonujące klipy. Operator może generować je ręcznie, ale proces ten można również zautomatyzować: pobierz wiadomość, przekaż wybrany tekst do usługi generowania głosu i odeślij wynikowy dźwięk z powrotem do odbiorcy.
Oto jedna z tych notatek głosowych. Czy to bardzo zalotna dziewczyna, czy wygenerowana przez sztuczną inteligencję? Posłuchaj i oceń:
Dostarczone metadane audio dostarczyły potencjalnej wskazówki co do użytych narzędzi, ale nie wystarczają, aby przypisać notatki głosowe do konkretnej usługi. Platformy i inne oprogramowanie mogą modyfikować pliki audio i ich metadane.
Co ważniejsze, notatki głosowe były spersonalizowane i kontynuowane nawet po tym, jak interakcja wydawała się mało prawdopodobna i nie doprowadziłaby do sprzedaży. Jest to zgodne z systemem zaprojektowanym do podtrzymywania rozmów bez konieczności nadzorowania każdej z nich przez człowieka.
Sztuczna inteligencja nie zastępuje lejka
Dowody nie oznaczają, że każda wiadomość z każdego konta spamowego jest pisana przez sztuczną inteligencję. Nie potwierdzają też, że X konta są obsługiwane przez te same osoby, które celują w graczy League of Legends.
Sugeruje to jednak wiarygodny model hybrydowy, poparty identycznymi odpowiedziami w różnych relacjach, przy jednoczesnym zachowaniu większej elastyczności odpowiedzi.
Powtarzające się elementy operacji można zaprogramować: otwieranie wiadomości, pytania o lokalizację i zainteresowania, linki i próby przeniesienia użytkowników na inną platformę. Warstwa konwersacyjna oparta na sztucznej inteligencji mogłaby sprawić, że wymiana zdań wydawałaby się mniej powtarzalna, gdy ktoś zadaje nieoczekiwane pytania, zmienia temat lub próbuje sprawdzić, czy konto jest prawdziwe.
Ta kombinacja ma sens praktyczny dla spamerów. Skrypty zapewniają spójność i ukierunkowują konwersację na konwersję. Generatywna sztuczna inteligencja pomaga kontu radzić sobie z nieprzewidywalnymi aspektami komunikacji z prawdziwymi ludźmi.
Oznacza to również, że tradycyjne „testy botów” stają się mniej użyteczne. Proszenie użytkownika o odpowiedź na nietypowe pytanie, zdekodowanie wiadomości lub wysłanie notatki głosowej może już nie pozwalać na odróżnienie prawdziwej osoby od fałszywej.
Jak zachować bezpieczeństwo
Podchodź ostrożnie do niechcianych, zalotnych wiadomości, zwłaszcza jeśli szybko stają się transakcją.
- Nie zakładaj, że spersonalizowana odpowiedź lub wiadomość głosowa jest dowodem na autentyczność konta.
- Zachowaj ostrożność, jeśli nowy kontakt wielokrotnie próbuje przenieść Cię do Discorda, Telegrama, Signala, innej aplikacji do przesyłania wiadomości lub platformy z płatnymi treściami.
- Nie wysyłaj pieniędzy, kart podarunkowych, kryptowaluty, intymnych zdjęć, dokumentów tożsamości ani danych uwierzytelniających konta osobom, które znasz tylko online.
- Unikaj otwierania linków i pobierania plików z kont, które niespodziewanie się z Tobą skontaktowały.
- Przeszukaj zdjęcia profilowe za pomocą odwrotnego wyszukiwania obrazu i poszukaj skopiowanych biografii, ponownie wykorzystanych zdjęć lub kont z bardzo ograniczoną rzeczywistą aktywnością.
- Zgłaszaj podejrzane konta na platformie, zwłaszcza jeśli podszywają się pod kogoś, wysyłają złośliwe linki lub wywierają na użytkowników presję, aby otrzymali pieniądze lub materiały o charakterze pornograficznym.
Ważne jest, czy rozmawiasz z człowiekiem, chatbotem, czy agentem AI. Sztuczna inteligencja może sprawić, że te operacje będą bardziej przekonujące i łatwiejsze do skalowania. Jeden operator mógłby prowadzić flirtujące konwersacje z wieloma osobami, dostosowując wiadomości bez konieczności osobistego zarządzania każdą wymianą.
Ułatwia to stworzenie fałszywego poczucia więzi i nakłonienie ludzi do klikania w linki, płacenia za treści lub dzielenia się informacjami osobistymi czy intymnymi.
Granica między kontem spamowym opartym na skryptach a responsywnym partnerem konwersacji staje się coraz trudniejsza. Oceniaj konto po tym, czego od ciebie oczekuje, a nie po tym, jak przekonująco się prezentuje.
Coś wydaje się nie tak? Sprawdź to przed kliknięciem.
Malwarebytes Guardpozwala błyskawicznie analizować podejrzane linki, teksty i zrzuty ekranu.
Dostępne w ramachMalwarebytes Premium na wszystkie Twoje urządzenia oraz wMalwarebytes na iOS Android.
