Nell’App Store di Apple e nel Play Store di Google ci si aspetta di trovare ogni tipo di app, dalle applicazioni meteo a quelle per la domotica, passando per i giochi. Ciò che forse non ci si aspetterebbe sono app in grado di creare immagini di nudo non consensuali a partire da foto normali. Eppure esistono, e il Comune di San Francisco ne ha abbastanza.
Il 17 luglio 2026, il procuratore municipale di San Francisco David Chiu ha inviato lettere di diffida ad Apple e Google, indicando 13 app per lo scambio di volti e la “nudificazione” (otto sull’App Store e cinque su Google Play) e concedendo alle società 28 giorni di tempo per rimuoverle e interrompere i rapporti con gli sviluppatori.
Le lettere non spuntano dal nulla.
Si tratta di sistemi di pagamento, non di moderazione dei contenuti
Chiu non sostiene che ospitare un’app renda automaticamente una piattaforma responsabile di ciò che essa fa. Gli operatori delle piattaforme hanno già vinto quella battaglia grazie alla Sezione 230 del Communications Decency Act. Quella legge, in vigore da 30 anni, stabilisce che i siti web non sono generalmente responsabili dei contenuti pubblicati dagli utenti, consentendo alle piattaforme di ospitare contenuti generati dagli utenti senza essere citate in giudizio ogni volta che qualcuno diffama un’altra persona in una discussione.
I tribunali hanno spesso esteso tali tutele anche agli app store. Apple e Google vengono considerate distributori di qualsiasi contenuto caricato da sviluppatori terzi, piuttosto che editori.
Chiu sta cercando di eludere tale argomentazione concentrandosi sui sistemi di pagamento delle aziende, sottolineando che Apple e Google trattengono una percentuale su ogni acquisto in-app. Secondo il Tech Transparency Project (TTP), ciò significa che traggono profitto dalle app che generano entrate creando immagini intime senza il consenso degli interessati.
Le prove non mancano certo. A gennaio, il TTP ha contato 55 app di “nudificazione” sull’App Store e 47 su Google Play. In un’indagine di follow-up condotta ad aprile, i ricercatori hanno deliberatamente utilizzato termini di ricerca come “nudify” e “deepnude”. Hanno trovato 46 app sull’App Store di Apple e 49 su Google Play. Circa il 40% dei risultati di ricerca degli store consentiva agli utenti di «spogliare» le donne, e quasi una su tre era classificata come adatta ai minori.
Sebbene molte di queste app vengano pubblicizzate utilizzando immagini di donne, chiunque può diventare vittima della diffusione non consensuale di immagini intime.
L'organizzazione no profit ha stimato che le app presenti nel proprio set di dati fossero state scaricate 483 milioni di volte e avessero generato oltre 122 milioni di dollari di ricavi complessivi. Il suo giudizio su Apple e Google è stato senza mezzi termini:
“protagonisti chiave nella diffusione di strumenti di intelligenza artificiale in grado di trasformare persone reali in immagini a sfondo sessuale.”
Le lettere di Chiu riflettono tali conclusioni, accusando entrambe le società di
«agevolare consapevolmente o favorire per negligenza la vendita di tali immagini ospitando le app e gestendo gli acquisti in-app».
Può inoltre fare riferimento alla legislazione californiana. Una legge statale della California del 2025 ha ampliato la potenziale responsabilità delle entità che facilitano la creazione o la distribuzione di deepfakes a contenuto sessualmente esplicito. Le sanzioni civili potrebbero arrivare a 25.000 dollari per ogni violazione. Si tratta di una conseguenza grave per le aziende che effettuano milioni di transazioni ogni anno.
Le piattaforme hanno adottato alcune misure, ma non sono sufficienti
Chiu non si limita a sondare il terreno con Apple e Google. Il suo ufficio ha già dedicato il 2024 e il 2025 a perseguire 16 dei siti web deepfake più visitati, ottenendo accordi extragiudiziali e chiusure effettive. Si tratta dello stesso ufficio, che utilizza la stessa strategia, contro obiettivi più grandi.
La risposta di Apple è stata parziale. Il portavoce Adam Dema ha dichiarato a WIRED che l’azienda ha rimosso tre delle app segnalate e ha avviato la procedura di chiusura degli account degli sviluppatori associati. Ciò significa che 10 delle 13 app sono ancora disponibili.
Il portavoce di Google, Dan Jackson, ha dichiarato che l'azienda ha già rimosso centinaia di app dotate di funzioni di "nudificazione" per violazione delle linee guida del Play Store.
Se i tribunali della California accogliessero la teoria della ripartizione dei ricavi, ogni altro procuratore municipale dello Stato avrebbe a disposizione un modello da seguire. La posizione di lunga data degli app store, secondo cui essi sarebbero distributori neutrali piuttosto che operatori commerciali, viene meno ovunque uno Stato disponga di leggi a tutela dei consumatori che si estendono alle infrastrutture di pagamento.
Cosa significa questo per tutti noi
Per i consumatori, il funzionamento di queste app è più importante delle controversie legali. Le app per lo scambio di volti e gli effetti fotografici non sono automaticamente sicure solo perché hanno superato la verifica dello store. Concedendo a un’app l’accesso al proprio rullino fotografico, si rischia di consegnare le proprie foto, o quelle di amici e familiari, a un servizio che potrebbe utilizzarle in modo improprio o consentire ad altri di farlo.
Prima di installare un’app fotografica basata sull’intelligenza artificiale, verifica quali autorizzazioni richiede, informati sullo sviluppatore e controlla se sono state sollevate preoccupazioni al riguardo da fonti indipendenti. Non dare per scontato che un’app sia affidabile solo perché è disponibile in un app store ufficiale. Inoltre, valgono le nostre normali regole relative alla pubblicazione di immagini di te stesso o delle persone a te affidate.
Se questa storia ha suscitato il tuo interesse, puoi scoprire di più sul lavoro di Chiu nel nostro Malwarebytes del mese scorso, che ripropone l’intervista che il team gli ha fatto nel 2024.
I truffatori sanno più cose su di te di quanto tu creda.
Malwarebytes Mobile Security tiMobile Security da phishing, SMS truffaldini, siti dannosi e altro ancora. Con la funzione Scam Guard basata sull'intelligenza artificiale integrata e attiva in tempo reale.
