В недавней публикации мы рассмотрели сообщения о том, что игроки League of Legends получали подозрительные запросы на добавление в друзья вскоре после матчей. Эти аккаунты быстро перевели разговор в Discord, где рекламировали платные страницы с контентом для взрослых.
В то время оставался открытым вопрос о том, насколько автоматизированы были эти разговоры. Работали ли люди по заранее заготовленным сценариям, лежащим в основе учетных записей? Были ли это обычные чат-боты, основанные на правилах и следующие ограниченному дереву решений? Или же они использовали генеративный ИИ для создания более естественных и гибких ответов?
Люди с большей вероятностью доверят тому, кто, по их мнению, лично заинтересован в них. Искусственный интеллект может создавать такое впечатление сразу во многих разговорах, что облегчает убеждение людей переходить по ссылкам, тратить деньги или делиться личной или интимной информацией. Аналогичный подход может быть использован и для более опасных видов мошенничества, включая романтические аферы и шантаж с использованием интимных фотографий.
Теперь разработчик Альваро Мартинес Махадо провел расследование в отношении нескольких аккаунтов, рекламирующих страницы OnlyFans и демонстрирующих флирт. X чтобы выяснить, были ли их ответы заранее подготовлены, сгенерированы искусственным интеллектом или написаны людьми. Махадо, президент организации по защите цифровых прав Protecció de la Frontera Electrònica , поделился своими доказательствами с Malwarebytes Хотя это и не дает окончательного ответа, это показывает, что учетные записи следуют жестко заданным сценариям разговора, одновременно динамично реагируя на необычные запросы. Признакам, которые раньше указывали на реального человека, таким как необычный ответ или персонализированное голосовое сообщение, больше нельзя доверять.
Сценарий бесконечен.
Махадо взаимодействовал с несколькими аккаунтами на X Все происходило по знакомой схеме. Они начинали с похожих непринужденных, кокетливых выражений и задавали в основном одни и те же уточняющие вопросы: где он живет, что ему нравится и чем он занимается.
Такая повторяющаяся структура — это именно то, чего мы ожидаем от рекламной кампании, мотивированной коммерческими интересами. Цель состоит не обязательно в том, чтобы завязать содержательный разговор. Задача — выявить людей, которые, вероятно, отреагируют, установить контакт и в конечном итоге перевести их на платную страницу или другой ресурс, контролируемый оператором.
Эти учетные записи также сохраняли свой личный стиль, несмотря на очевидные попытки разоблачить их как ботов. Это могло быть результатом запрограммированных ответов, защитных механизмов системы искусственного интеллекта или того и другого.
Однако некоторые последующие взаимодействия было сложнее объяснить, просто набрав набор заученных кокетливых ответов.
Один из наиболее интересных тестов включал инструкцию, записанную в шестнадцатеричном формате ASCII, а не в виде обычного текста. Закодированное сообщение предписывало пользователю ответить одним словом: «Ананас».
Согласно предоставленным скриншотам Malwarebytes В ответ на это в личном сообщении было написано «Ананас».
Это не доказывает окончательно, какая именно технология использовалась. Это не позволяет идентифицировать модель, поставщика или людей, стоящих за учетными записями. Но это согласуется с автоматизированной системой, способной интерпретировать закодированную инструкцию и соответствующим образом изменять свой результат.
В простой скриптовой системе ботов, конечно, можно было бы использовать шестнадцатеричный декодер. Но это было бы необычно для базового бота, предназначенного для продвижения контента для взрослых, особенно в сочетании с другими примерами гибких и порой подверженных ошибкам ответов.
В другом случае Махадо попросил пользователя написать ответ ровно из 12 символов. Тот ответил «Imnotabotfr» — ответ из 11 символов — и, похоже, осознал свою ошибку в подсчете.
Любой, кто экспериментировал с большими языковыми моделями, может узнать эту закономерность. Языковые модели могут очень хорошо генерировать естественно звучащий текст, но при этом совершать удивительно простые ошибки, связанные с подсчетом символов, слов и других точных ограничений.
Специально разработанный бот мог бы имитировать подобные ошибки, поэтому это не является доказательством наличия ИИ. Но учетная запись поняла неожиданную инструкцию, попыталась ей следовать и отреагировала, когда ответила неправильно. Это говорит о том, что она, возможно, генерировала ответы динамически, а не выбирала из списка заранее заготовленных вариантов. Такие учетные записи могут адаптироваться к разговорам, что затрудняет их идентификацию как автоматизированных.
Голосовые сообщения не решают этот вопрос.
Учетные записи также отправляли голосовые сообщения. В одном примере учетная запись зачитала вслух метку времени Unix, предоставленную во время разговора. В другом случае она произнесла запрошенное имя пользователя.
Эти ответы показывают, что в аудиосообщения можно было включить необычную информацию из разговора. Они не сообщают, записал ли человек эти фрагменты сам или их сгенерировал инструмент преобразования текста в речь.
Инструменты преобразования текста в речь позволяют быстро и недорого создавать короткие, убедительные аудиозаписи. Оператор может создавать их вручную, но процесс также можно автоматизировать: взять сообщение, передать выделенный текст в службу генерации голоса и отправить полученный аудиофайл обратно получателю.
Вот одна из таких голосовых заметок. Это голос очень кокетливой девушки или сгенерированный искусственным интеллектом? Послушайте и поделитесь своим мнением:
Предоставленные метаданные аудиофайлов могли дать подсказку об используемых инструментах, но этого недостаточно, чтобы отнести голосовые заметки к конкретному сервису. Платформы и другое программное обеспечение могут изменять аудиофайлы и их метаданные.
Более важный момент заключается в том, что голосовые сообщения были персонализированы и продолжались даже после того, как взаимодействие, казалось бы, вряд ли приведет к продаже. Это соответствует системе, разработанной для поддержания диалога без необходимости контроля со стороны человека на каждом этапе.
Искусственный интеллект не заменяет воронку продаж.
Имеющиеся доказательства не означают, что каждое сообщение с каждого флиртующего спам-аккаунта написано искусственным интеллектом. Они также не доказывают, что... X Этими аккаунтами управляют одни и те же люди, ориентирующиеся на игроков League of Legends.
Это позволяет предположить наличие правдоподобной гибридной модели, подтверждаемой идентичными ответами в разных учетных записях, а также более гибкими вариантами ответов.
Повторяющиеся этапы операции можно запрограммировать: открытие сообщений, вопросы о местоположении и интересах, ссылки и попытки перенаправить пользователей на другую платформу. Затем, благодаря ИИ, диалоговый слой может сделать общение менее монотонным, когда кто-то задает неожиданные вопросы, меняет тему или пытается проверить, является ли учетная запись реальной.
Такое сочетание имеет практический смысл для спамеров. Скрипты обеспечивают согласованность и направляют разговор в сторону конверсии. Генеративный ИИ помогает аккаунту справляться с непредсказуемыми моментами общения с реальными людьми.
Это также означает, что традиционные «тесты ботов» становятся менее полезными. Запрос к учетной записи на необычный вопрос, расшифровка сообщения или отправка голосового сообщения могут больше не позволить отличить реального человека от поддельного.
Как оставаться в безопасности
Не следует с осторожностью относиться к нежелательным флиртующим сообщениям, особенно если они быстро перерастают в деловые.
- Не следует считать, что персонализированный ответ или голосовое сообщение доказывают подлинность аккаунта.
- Будьте осторожны, если новый контакт неоднократно пытается перевести вас в Discord, Telegram, Signal, другое приложение для обмена сообщениями или на платную контентную платформу.
- Не отправляйте деньги, подарочные карты, криптовалюту, интимные изображения, документы, удостоверяющие личность, или учетные данные кому-либо, кого вы знаете только в интернете.
- Избегайте открытия ссылок или загрузки файлов с аккаунтов, которые связались с вами неожиданно.
- Выполните обратный поиск по фотографиям профилей и поищите скопированные биографии, повторно использованные изображения или аккаунты с очень ограниченной подлинной активностью.
- Сообщайте о подозрительных аккаунтах на платформу, особенно если они выдают себя за других, рассылают вредоносные ссылки или оказывают давление на пользователей с целью получения денег или материалов откровенного характера.
Важный вопрос: с кем вы общаетесь — с человеком, чат-ботом или агентом на основе ИИ? Искусственный интеллект мог бы сделать эти операции более убедительными и значительно упростить их масштабирование. Один оператор мог бы вести игривые беседы со многими людьми, адаптируя сообщения, не управляя лично каждым обменом репликами.
Это облегчает создание ложного чувства связи и убеждение людей переходить по ссылкам, платить за контент или делиться личной или интимной информацией.
Грань между спам-аккаунтом, созданным по сценарию, и отзывчивым собеседником становится все труднее различить. Судите об аккаунте по тому, чего он от вас хочет, а не по тому, насколько убедительно он говорит.
Что-то не так? Проверьте, прежде чем нажимать.
Malwarebytes Guardпоможет вам мгновенно анализировать подозрительные ссылки, тексты и скриншоты.
Доступно в составеMalwarebytes Premium для всех ваших устройств, а также вMalwarebytes для iOS Android.
