先日掲載した記事では、 League of Legendsのプレイヤーが試合直後に不審なフレンドリクエストを受け取ったという報告について取り上げました。これらのアカウントはすぐに会話をDiscordに誘導し、有料の成人向けコンテンツサイトを宣伝していました。
当時、未解決の疑問の一つは、そうした会話のうちどの程度が自動化されていたかということだった。アカウントの背後では、人々がスクリプトに基づいて対応していたのだろうか？それとも、限られた意思決定ツリーに従う従来型のルールベースのチャットボットだったのだろうか？あるいは、より自然で柔軟な応答を生成するために、生成型AIを使用していたのだろうか？
人は、自分に個人的な関心を持っていると信じる相手をより信頼する傾向がある。AIは、多くの会話において同時にそのような印象を与えることができ、人々を説得してリンクをクリックさせたり、お金を使わせたり、個人的な情報や親密な情報を共有させたりすることが容易になる。同様の手法は、ロマンス詐欺やセクストーションといった、より悪質な詐欺にも悪用される可能性がある。
今回、開発者のアルバロ・マルティネス・マハドは、 OnlyFansページを宣伝する複数の軽薄なアカウントを調査した。 X 彼らの返答が台本通りなのか、AIによって生成されたものなのか、それとも人間によって書かれたものなのかを確認するため、デジタル権利保護団体Protecció de la Frontera Electrònicaの代表であるマハド氏は、証拠を次のように共有した。 Malwarebytes決定的な答えは得られないものの、これらのアカウントは厳格な会話スクリプトに従いつつ、通常とは異なる要求にも柔軟に対応していることが分かります。かつては本物の人間を示唆していた、不自然な返信やパーソナライズされた音声メッセージといった兆候は、もはや信頼できません。
脚本は延々と続く
Majadoは、 X それはよくあるパターンだった。彼らは似たような気さくで軽薄な言葉遣いで会話を始め、住んでいる場所、好きなこと、仕事など、大体同じような質問をした。
その反復的な構造は、商業的な動機に基づくメッセージングキャンペーンにまさに期待されるものです。目的は必ずしも有意義な会話をすることではなく、反応しそうな人を見つけ出し、信頼関係を築き、最終的には有料ページや運営者が管理する別の目的地へと誘導することにあります。
これらのアカウントは、ボットであることを暴こうとする明らかな試みに直面しても、その性格を維持した。これは、ハードコードされた返信、AIシステムに対する安全対策、あるいはその両方によるものと考えられる。
しかし、その後のやり取りの中には、単に用意された決まり文句の羅列として説明するのが難しいものもあった。
興味深いテストの一つは、通常のテキストではなくASCIIの16進数で記述された指示を用いたものだった。エンコードされたメッセージは、アカウントに対し「パイナップル」という単語一つで返信するよう指示していた。
提供されたスクリーンショットによるとMalwarebytesそのアカウントは、通常のテキストで「パイナップル」と返信した。
これは、どの技術が使用されたかを決定的に証明するものではありません。モデル、プロバイダー、アカウントの背後にいる人物を特定するものでもありません。しかし、エンコードされた命令を解釈し、それに応じて出力を変更できる自動システムの存在とは矛盾しません。
単純なスクリプトベースのボットであれば、理論的には16進数デコーダーを組み込むことも可能だ。しかし、特に柔軟性がありながらも時にエラーが発生しやすい他の応答と組み合わせた場合、基本的なアダルトコンテンツ宣伝ボットにそのような機能を持たせるのは異例だろう。
別のやり取りでは、Majadoはアカウントに正確に12文字の返信をするよう求めた。すると、そのアカウントは「Imnotabotfr」という11文字の返信をした後、自分の文字数カウントの間違いに気づいたようだった。
大規模な言語モデルを実験的に扱った経験のある人なら、このパターンに見覚えがあるかもしれません。言語モデルは、自然な響きのテキストを生成することには非常に優れている一方で、文字数、単語数、その他の厳密な制約に関する驚くほど基本的なミスを犯してしまうことがあるのです。
意図的に設計されたボットであれば、このようなミスを模倣できる可能性があるため、これはAIの証拠とは言えません。しかし、このアカウントは予期せぬ指示を理解し、それに従おうと試み、間違った回答をした際に反応を示しました。これは、あらかじめ用意された回答リストから選択するのではなく、動的に返信を生成していた可能性を示唆しています。このようなアカウントは会話に適応できるため、自動化されたものと特定するのが難しくなります。
音声メモでは問題は解決しない
これらのアカウントは音声メッセージも送信していた。ある例では、会話中に提供されたUnixタイムスタンプを読み上げていた。別の例では、要求されたユーザー名を音声で伝えていた。
これらの反応から、アカウントが会話中の通常とは異なる情報を音声メッセージに組み込むことができることが分かります。ただし、これらの音声クリップが個人によって録音されたものなのか、テキスト読み上げツールによって生成されたものなのかは分かりません。
テキスト読み上げツールを使えば、短く説得力のある音声クリップを迅速かつ安価に生成できます。オペレーターが手動で生成することもできますが、プロセスを自動化することも可能です。メッセージを受け取り、選択したテキストを音声生成サービスに渡し、生成された音声を受信者に送信するだけです。
これはそんな音声メッセージの一つです。とても色っぽい女の子の声でしょうか、それともAIが生成したものでしょうか？聞いてみて、どう思うか教えてください。
提供された音声メタデータは、使用されたツールに関する手がかりとなる可能性はあるものの、音声メモを特定のサービスに帰属させるには不十分である。プラットフォームやその他のソフトウェアは、音声ファイルとそのメタデータを変更する可能性がある。
より重要な点は、音声メッセージがパーソナライズされており、たとえそのやり取りが販売につながる可能性が低いと判断された後でも継続されたことである。これは、人間が一つ一つ監視する必要なく会話を円滑に進めるように設計されたシステムの特徴と一致する。
AIはファネルを置き換えるものではない
この証拠は、すべての軽薄なスパムアカウントからのメッセージがAIによって書かれていることを意味するものではありません。また、 X これらのアカウントは、リーグ・オブ・レジェンドのプレイヤーを標的にしているのと同じ人物によって運営されている。
これは、異なるアカウント間で同一の回答が見られる一方で、より柔軟な対応も見られることから、もっともらしいハイブリッドモデルを示唆している。
操作の反復的な部分はスクリプト化できる。例えば、メッセージの送信、場所や興味に関する質問、リンクの提示、そして別のプラットフォームへの誘導などだ。AIを活用した対話型レイヤーがあれば、予期せぬ質問があったり、話題が変わったり、アカウントが本物かどうかを確認しようとしたりした場合でも、やり取りが単調に感じられなくなるだろう。
この組み合わせはスパマーにとって実用的です。スクリプトによって一貫性が保たれ、会話はコンバージョンへと導かれます。生成型AIは、実際の人との会話における予測不可能な部分を処理する上で役立ちます。
これはまた、従来の「ボットテスト」の有効性が低下していることを意味する。アカウントに通常とは異なる質問に答えさせたり、メッセージを解読させたり、音声メモを送らせたりしても、もはや本物の人間と偽の人間を区別することはできないかもしれない。
安全に過ごすには
一方的に送られてくる口説き文句のようなメッセージには注意が必要だ。特に、それがすぐに金銭的な取引へと発展する場合はなおさらだ。
- パーソナライズされた返信や音声メッセージが、アカウントの正当性を証明するものだと決めつけないでください。
- 新しい連絡先が、あなたを繰り返しDiscord、Telegram、Signal、その他のメッセージングアプリ、または有料コンテンツプラットフォームに誘導しようとする場合は注意が必要です。
- オンライン上でしか知らない相手には、お金、ギフトカード、仮想通貨、プライベートな画像、身分証明書、アカウント情報などを送らないでください。
- 予期せず連絡してきたアカウントからのリンクを開いたり、ファイルをダウンロードしたりすることは避けてください。
- プロフィール写真の画像検索を行い、コピーされた自己紹介文、使い回しの画像、または実際の活動が極めて少ないアカウントを探してください。
- 不審なアカウントはプラットフォームに報告してください。特に、他人のなりすまし、悪意のあるリンクの送信、金銭やわいせつなコンテンツを要求するようなアカウントは報告すべきです。
相手が人間なのか、チャットボットなのか、それともAIエージェントなのかは重要な問題です。AIはこうしたやり取りをより説得力のあるものにし、規模拡大もはるかに容易にする可能性があります。一人のオペレーターが多くの人と軽妙な会話を交わし、一人ひとりのやり取りを個人的に管理することなく、メッセージを状況に応じて調整できるようになるでしょう。
そうすることで、偽りの繋がりを作り出し、人々を説得してリンクをクリックさせたり、コンテンツにお金を払わせたり、個人的な情報や親密な情報を共有させたりすることが容易になる。
台本通りのスパムアカウントと、応答性の高い会話相手との境界線は、ますます曖昧になってきています。アカウントの話し方の巧みさではなく、あなたに何をさせたいのかという点に基づいて判断してください。
何かおかしいと感じたら？クリックする前に確認してください。
Malwarebytes Guardを使えば、不審なリンク、テキスト、スクリーンショットを即座に分析できます。
すべてのデバイス向けの「Malwarebytes Premium 」 iOS Android向け「Malwarebytes でご利用いただけます。
