Im App Store von Apple und im Play Store von Google findet man alle möglichen Apps – von Wetter-Apps über Hausautomations-Apps bis hin zu Spielen. Was man dort vielleicht nicht erwartet, sind Apps, mit denen sich aus ganz normalen Fotos Nacktbilder ohne Einwilligung der betroffenen Person erstellen lassen. Doch es gibt sie, und die Stadt San Francisco hat nun die Nase voll davon.
Am 17. Juli 2026 sandte der Stadtanwalt von San Francisco, David Chiu, Unterlassungsaufforderungen an Apple und Google, in denen er 13 Apps zum Austausch von Gesichtern und zur „Entblößung“ (acht im App Store und fünf bei Google Play) nannte und den Unternehmen eine Frist von 28 Tagen setzte, diese zu entfernen und die Beziehungen zu den Entwicklern abzubrechen.
Die Briefe kommen nicht aus dem Nichts.
Es geht um Zahlungssysteme, nicht um die Moderation von Inhalten
Chiu behauptet nicht, dass eine Plattform allein durch das Hosten einer App automatisch für deren Inhalte haftbar wird. Die Plattformbetreiber haben diesen Kampf bereits mit Abschnitt 230 des „Communications Decency Act“ gewonnen. Dieses 30 Jahre alte Gesetz besagt, dass Websites im Allgemeinen nicht für von Nutzern gepostete Inhalte verantwortlich sind, sodass Plattformen nutzergenerierte Inhalte hosten können, ohne jedes Mal verklagt zu werden, wenn jemand in einem Kommentarbereich eine andere Person diffamiert.
Gerichte haben diesen Schutz häufig auch auf App-Stores ausgeweitet. Apple und Google werden dabei nicht als Herausgeber, sondern als Vertreiber der von Drittentwicklern hochgeladenen Inhalte betrachtet.
Chiu versucht, diesem Argument auszuweichen, indem er den Fokus auf die Zahlungssysteme der Unternehmen legt und darauf hinweist, dass Apple und Google einen Anteil an jedem In-App-Kauf einbehalten. Laut dem Tech Transparency Project (TTP) bedeutet dies, dass sie von Apps profitieren, die Einnahmen durch die Erstellung nicht einvernehmlicher intimer Bilder erzielen.
An Beweisen mangelt es ihm nicht. Im Januar zählte das TTP 55 „Nudification“-Apps im App Store und 47 bei Google Play. Bei einer Nachuntersuchung im April verwendeten die Forscher gezielt Suchbegriffe wie „nudify“ und „deepnude“. Sie fanden 46 Apps im Apple App Store und 49 bei Google Play. Etwa 40 % der Suchergebnisse in den Stores ermöglichten es den Nutzern, Frauen „zu entkleiden“, und fast jede dritte App wurde als für Minderjährige geeignet eingestuft.
Obwohl viele dieser Apps mit Bildern von Frauen beworben werden, kann jeder Opfer von nicht einvernehmlich aufgenommenen intimen Bildern werden.
Die gemeinnützige Organisation schätzte, dass die Apps in ihrem Datensatz 483 Millionen Mal heruntergeladen worden waren und insgesamt mehr als 122 Millionen Dollar an Einnahmen erzielt hatten. Ihr Urteil über Apple und Google fiel unverblümt aus:
„Maßgebliche Akteure bei der Verbreitung von KI-Tools, mit denen echte Menschen in sexualisierte Bilder verwandelt werden können.“
Chius Schreiben spiegeln diese Erkenntnisse wider und werfen beiden Unternehmen vor,
„den Verkauf dieser Bilder durch das Hosten der Apps und die Abwicklung von In-App-Käufen wissentlich zu erleichtern oder fahrlässig zu unterstützen“.
Zudem kann er sich auf kalifornisches Recht stützen. Ein kalifornisches Gesetz aus dem Jahr 2025 hat die potenzielle Haftung für Unternehmen erweitert, die die Erstellung oder Verbreitung sexuell expliziter deepfakes ermöglichen. Die zivilrechtlichen Strafen können bis zu 25.000 US-Dollar pro Verstoß betragen. Das ist eine schwerwiegende Konsequenz für Unternehmen, die jährlich Millionen von Transaktionen abwickeln.
Die Plattformen haben zwar einige Maßnahmen ergriffen, diese reichen jedoch nicht aus.
Chiu begnügt sich nicht damit, Apple und Google nur auf die Finger zu klopfen. Seine Behörde hat bereits in den Jahren 2024 und 2025 gegen 16 der meistbesuchten deepfake vorgegangen, was zu konkreten Vergleichen und Schließungen geführt hat. Es ist dieselbe Behörde, die nach demselben Schema gegen größere Ziele vorgeht.
Die Reaktion von Apple fiel nur teilweise aus. Sprecher Adam Dema erklärte gegenüber WIRED, das Unternehmen habe drei der gemeldeten Apps entfernt und damit begonnen, die zugehörigen Entwicklerkonten zu sperren. Damit sind noch 10 der 13 Apps verfügbar.
Google-Sprecher Dan Jackson erklärte, das Unternehmen habe bereits Hunderte von Apps mit „Nudification“-Funktionen wegen Verstößen gegen die Play-Store-Richtlinien gelöscht.
Sollten die kalifornischen Gerichte die Theorie der Umsatzbeteiligung akzeptieren, erhalten alle anderen Stadtanwälte im Bundesstaat eine Vorlage. Die seit langem vertretene Position der App-Stores, sie seien neutrale Vertreiber und keine kommerziellen Akteure, verliert überall dort an Bedeutung, wo ein Bundesstaat Verbraucherschutzgesetze hat, die sich auf die Zahlungsinfrastruktur erstrecken.
Was das für den Rest von uns bedeutet
Für Verbraucher ist die Funktionsweise dieser Apps wichtiger als die Rechtsstreitigkeiten. Apps zum Austausch von Gesichtern und für Fotoeffekte sind nicht automatisch sicher, nur weil sie die Überprüfung durch den App-Store bestanden haben. Wenn Sie einer solchen App Zugriff auf Ihren Fotoordner gewähren, könnten Sie Ihre eigenen Fotos oder die von Freunden und Familie an einen Dienst weitergeben, der diese missbrauchen oder anderen den Missbrauch ermöglichen könnte.
Bevor Sie eine KI-Foto-App installieren, sollten Sie prüfen, welche Berechtigungen die App anfordert, sich über den Entwickler informieren und nachsehen, ob unabhängige Berichte Bedenken hinsichtlich der App geäußert haben. Gehen Sie nicht davon aus, dass eine App vertrauenswürdig ist, nur weil sie in einem offiziellen App-Store erhältlich ist. Und es gelten unsere üblichen Regeln für das Posten von Bildern von sich selbst oder von Personen, für die Sie verantwortlich sind.
Falls dieser Beitrag Ihr Interesse geweckt hat, können Sie in unserem Malwarebytes vom letzten Monat mehr über Chius Arbeit erfahren. Dort wird das Interview, das das Team 2024 mit ihm geführt hat, erneut ausgestrahlt.
Betrüger wissen mehr über dich, als du denkst.
Malwarebytes Mobile Security Sie vor Phishing, betrügerischen SMS, bösartigen Websites und vielem mehr. Mit integriertem, KI-gestütztem Scam Guard in Echtzeit.
