In einem kürzlich erschienenen Beitrag haben wir Berichte über League-of-Legends-Spieler untersucht, die kurz nach Matches verdächtige Freundschaftsanfragen erhielten. Die Accounts lenkten das Gespräch schnell auf Discord, wo sie für kostenpflichtige Seiten mit Inhalten für Erwachsene warben.
Damals blieb die Frage offen, inwieweit diese Konversationen automatisiert waren. Arbeiteten die Mitarbeiter mit vorgefertigten Skripten? Handelte es sich um herkömmliche, regelbasierte Chatbots, die einem begrenzten Entscheidungsbaum folgten? Oder nutzten sie generative KI, um natürlichere und flexiblere Antworten zu generieren?
Menschen vertrauen eher jemandem, von dem sie glauben, dass er persönliches Interesse an ihnen hat. Künstliche Intelligenz kann diesen Eindruck in vielen Konversationen gleichzeitig erzeugen und es so erleichtern, Menschen zum Klicken auf Links, zum Geldausgeben oder zum Teilen persönlicher oder intimer Informationen zu bewegen. Derselbe Ansatz könnte auch für schwerwiegendere Betrugsformen wie Liebesbetrug und Sextortion missbraucht werden.
Der Entwickler Álvaro Martínez Majado hat nun mehrere anzügliche Profile untersucht, die für OnlyFans-Seiten werben. X um herauszufinden, ob ihre Antworten vorgefertigt, von einer KI generiert oder von Menschen verfasst waren. Majado, Präsident der Organisation für digitale Rechte Protecció de la Frontera Electrònica , teilte seine Beweise mit Malwarebytes Obwohl es keine endgültige Antwort liefert, zeigt es doch, dass die Accounts starren Gesprächsskripten folgen und gleichzeitig dynamisch auf ungewöhnliche Anfragen reagieren. Anzeichen, die einst auf eine echte Person hindeuteten, wie etwa ungewöhnliche Antworten oder personalisierte Sprachnachrichten, sind nicht mehr verlässlich.
Das Drehbuch geht immer weiter
Majado interagierte mit mehreren Accounts auf X Das folgte einem bekannten Muster. Sie begannen mit ähnlich lockerer, flirtender Sprache und stellten im Großen und Ganzen die gleichen einleitenden Fragen: wo er wohnte, was er mochte und was er beruflich machte.
Diese repetitive Struktur entspricht genau dem, was man von einer kommerziell motivierten Messaging-Kampagne erwarten würde. Ziel ist nicht unbedingt ein sinnvoller Dialog. Vielmehr geht es darum, potenzielle Empfänger zu identifizieren, eine Beziehung aufzubauen und sie schließlich auf eine kostenpflichtige Seite oder ein anderes vom Betreiber kontrolliertes Ziel zu lenken.
Die Accounts verhielten sich auch dann authentisch, als offensichtliche Versuche unternommen wurden, sie als Bots zu entlarven. Dies könnte auf fest programmierte Antworten, Schutzmechanismen eines KI-Systems oder beides zurückzuführen sein.
Einige spätere Interaktionen ließen sich jedoch schwieriger als einfache Sammlung vorgefertigter Flirtantworten erklären.
Einer der interessantesten Tests beinhaltete eine Anweisung, die als ASCII-Hexadezimalcode anstatt als normaler Text verfasst war. Die verschlüsselte Nachricht forderte den Account auf, mit einem einzigen Wort zu antworten: „Ananas“.
Laut den zur Verfügung gestellten Screenshots Malwarebytes Der Account antwortete mit „Ananas“ in normaler Textform.
Das beweist zwar nicht endgültig, welche Technologie verwendet wurde. Es identifiziert weder ein Modell noch einen Anbieter oder die Personen hinter den Konten. Es deutet aber auf ein automatisiertes System hin, das in der Lage ist, eine kodierte Anweisung zu interpretieren und seine Ausgabe entsprechend anzupassen.
Ein einfacher, skriptbasierter Bot könnte theoretisch natürlich einen Hexadezimaldecoder enthalten. Das wäre jedoch ungewöhnlich für einen simplen Bot zur Bewerbung von Inhalten für Erwachsene, insbesondere in Kombination mit anderen Beispielen flexibler und mitunter fehleranfälliger Antworten.
In einer weiteren Interaktion forderte Majado einen Account auf, eine Antwort mit genau 12 Zeichen zu geben. Dieser antwortete mit „Imnotabotfr“ – einer 11-Zeichen-Antwort – und schien dann seinen eigenen Zählfehler zu bemerken.
Wer schon einmal mit großen Sprachmodellen experimentiert hat, wird dieses Muster erkennen. Sprachmodelle können sehr gut darin sein, natürlich klingende Texte zu generieren, machen aber dennoch überraschend grundlegende Fehler bei der Zählung von Zeichen und Wörtern sowie anderen exakten Beschränkungen.
Ein absichtlich programmierter Bot könnte solche Fehler imitieren, daher ist dies kein Beweis für KI. Das Konto verstand jedoch eine unerwartete Anweisung, versuchte, ihr zu folgen, und reagierte, als die Antwort falsch war. Das deutet darauf hin, dass es möglicherweise dynamisch Antworten generierte, anstatt aus einer Liste vorgefertigter Antworten auszuwählen. Solche Konten können sich an Konversationen anpassen, wodurch es schwieriger wird, sie als automatisiert zu identifizieren.
Sprachnachrichten klären die Frage nicht.
Die Accounts verschickten auch Sprachnachrichten. In einem Beispiel las ein Account einen während des Gesprächs übermittelten Unix-Zeitstempel vor. In einem anderen sprach er einen angeforderten Benutzernamen.
Diese Antworten zeigen, dass die Accounts ungewöhnliche Informationen aus einem Gespräch in Audionachrichten einbinden konnten. Sie geben jedoch keinen Aufschluss darüber, ob die Clips von einer Person aufgenommen oder mithilfe eines Text-to-Speech-Tools generiert wurden.
Text-to-Speech-Tools können schnell und kostengünstig kurze, überzeugende Audio-Clips erzeugen. Ein Mitarbeiter kann diese manuell erstellen, der Prozess lässt sich aber auch automatisieren: Man nimmt eine Nachricht entgegen, übergibt den ausgewählten Text an einen Sprachausgabedienst und sendet die resultierende Audioaufnahme an den Empfänger zurück.
Hier ist eine dieser Sprachnachrichten. Ist es ein sehr flirtendes Mädchen oder KI-generiert? Hör mal rein und sag uns deine Meinung:
Die bereitgestellten Audio-Metadaten lieferten zwar einen möglichen Hinweis auf die verwendeten Tools, reichen aber nicht aus, um die Sprachnotizen einem bestimmten Dienst zuzuordnen. Plattformen und andere Software können Audiodateien und deren Metadaten verändern.
Entscheidender ist jedoch, dass die Sprachnachrichten personalisiert waren und auch dann fortgesetzt wurden, als ein Verkaufsabschluss unwahrscheinlich schien. Dies entspricht einem System, das darauf ausgelegt ist, Gespräche am Laufen zu halten, ohne dass ein Mensch jedes einzelne Gespräch überwachen muss.
KI ersetzt den Trichter nicht
Die Beweislage bedeutet nicht, dass jede Nachricht von jedem Flirt-Spam-Account von einer KI verfasst wurde. Sie belegt auch nicht, dass … X Die Accounts werden von denselben Personen betrieben, die es auf League of Legends-Spieler abgesehen haben.
Es deutet jedoch auf ein plausibles Hybridmodell hin, das durch identische Antworten auf verschiedenen Konten sowie durch flexiblere Reaktionen gestützt wird.
Die wiederkehrenden Schritte des Vorgangs lassen sich skripten: Eröffnungsnachrichten, Fragen zu Standort und Interessen, Links und Versuche, Nutzer auf eine andere Plattform zu locken. Eine KI-gestützte Dialogschnittstelle könnte den Austausch dann weniger eintönig gestalten, wenn jemand unerwartete Fragen stellt, das Thema wechselt oder die Echtheit des Kontos überprüft.
Diese Kombination ist für Spammer praktisch sinnvoll. Skripte sorgen für Konsistenz und lenken die Konversation auf die Conversion. Generative KI hilft dem Account, die unvorhersehbaren Aspekte der Kommunikation mit echten Menschen zu bewältigen.
Das bedeutet auch, dass herkömmliche „Bot-Tests“ immer weniger aussagekräftig werden. Die Aufforderung an ein Konto, eine ungewöhnliche Frage zu beantworten, eine Nachricht zu entschlüsseln oder eine Sprachnachricht zu senden, reicht möglicherweise nicht mehr aus, um eine echte Person von einem Fake-Account zu unterscheiden.
Wie man sicher bleibt
Seien Sie bei unerwünschten Flirtnachrichten vorsichtig, insbesondere wenn diese schnell in eine geschäftliche Angelegenheit umschlagen.
- Gehen Sie nicht davon aus, dass eine personalisierte Antwort oder Sprachnachricht ein Beweis für die Echtheit eines Kontos ist.
- Seien Sie vorsichtig, wenn ein neuer Kontakt wiederholt versucht, Sie zu Discord, Telegram, Signal, einer anderen Messaging-App oder einer kostenpflichtigen Inhaltsplattform zu bewegen.
- Senden Sie kein Geld, keine Geschenkkarten, keine Kryptowährung, keine intimen Bilder, keine Ausweisdokumente und keine Zugangsdaten an Personen, die Sie nur online kennen.
- Vermeiden Sie es, Links zu öffnen oder Dateien von Konten herunterzuladen, die Sie unerwartet kontaktiert haben.
- Führe eine umgekehrte Bildersuche durch, um Profilfotos zu finden und nach kopierten Biografien, wiederverwendeten Bildern oder Accounts mit sehr begrenzter echter Aktivität Ausschau zu halten.
- Melden Sie verdächtige Accounts der Plattform, insbesondere wenn diese sich als jemand anderes ausgeben, schädliche Links versenden oder Nutzer unter Druck setzen, Geld oder explizites Material zu erbitten.
Ob man mit einem Menschen, einem Chatbot oder einem KI-Agenten kommuniziert, ist eine wichtige Frage. KI könnte diese Prozesse überzeugender und deutlich einfacher skalierbar machen. Ein einzelner Mitarbeiter könnte beispielsweise mit vielen Personen flirtende Gespräche führen und die Nachrichten anpassen, ohne jeden einzelnen Austausch persönlich steuern zu müssen.
Dadurch wird es einfacher, ein falsches Gefühl der Verbundenheit zu erzeugen und Menschen dazu zu bringen, auf Links zu klicken, für Inhalte zu bezahlen oder persönliche oder intime Informationen preiszugeben.
Die Grenze zwischen einem automatisierten Spam-Account und einem reaktionsschnellen Gesprächspartner verschwimmt immer mehr. Beurteilen Sie einen Account danach, was er von Ihnen will, nicht danach, wie überzeugend er spricht.
Stimmt da etwas nicht? Überprüfen Sie es, bevor Sie klicken.
Mit Malwarebytes Guardkönnen Sie verdächtige Links, Texte und Screenshots sofort überprüfen.
Erhältlich mitMalwarebytes Premium für alle Ihre Geräte sowie in derMalwarebytes für iOS Android.
