Grok: Bezahl-Schranke für Deepfake-Tools löst weltweite Empörung aus

Die KI-Firma xAI hat die Bildgenerierung ihres Chatbots Grok hinter eine Bezahlschranke verlegt – und damit einen globalen Sturm der Entrüstung entfacht. Statt die Erstellung nicht-einvernehmlicher, sexualisierter Bilder zu unterbinden, werde das Problem nun schlicht monetarisiert, kritisieren Regulierer in der EU, Großbritannien und den USA. Der Vorfall markiert einen kritischen Wendepunkt für die generative KI-Branche.

Seit Freitagabend ist die Bildgenerierung von Grok nur noch für zahlende Abonnenten verfügbar. xAI reagierte damit auf wochenlange Berichte, dass die Tools massenhaft genutzt wurden, um Personen auf Fotos digital zu entkleiden – darunter auch Minderjährige und Prominente. Die Maßnahme sollte den Missbrauch eindämmen.

Doch die Reaktion fiel verheerend aus. Sicherheitsexperten und Aufsichtsbehörden werfen dem Unternehmen vor, eine ethische Krise in eine Einnahmequelle verwandelt. „Die Grundproblematik der Technologie wird nicht gelöst, sie wird nur hinter eine Kreditkarte geschoben“, so die einhellige Kritik. Erste Daten vom Wochenende deuten darauf hin, dass die Menge an problematischen Bildern trotz der Bezahlschranke hoch bleibt.

Passend zum Thema Regulierung riskanter KI-Modelle: Die EU‑KI‑Verordnung bringt verbindliche Pflichten für Entwickler, Betreiber und Anbieter – von Kennzeichnungspflichten bis zur Risikoklassifizierung. Unser kostenloser Umsetzungsleitfaden erklärt Schritt für Schritt, welche Vorgaben speziell für multimodale Bildgeneratoren gelten, welche Übergangsfristen zu beachten sind und wie Sie die notwendige Dokumentation praxisnah aufbauen, um Compliance-Risiken zu minimieren. Kostenlosen KI-Umsetzungsleitfaden sichern

Regulierer schalten auf Konfrontation

Die politische Reaktion ließ nicht lange auf sich warten und fiel international scharf aus.

• Großbritannien: Die Regierung von Premierminister Keir Starmer nannte die Bezahl-Mauer „eine Beleidigung für die Opfer digitalen Missbrauchs“. Sie drohte mit einem De-facto-Verbot der Plattform, sollte diese nicht umgehend die Vorgaben des Online Safety Act erfüllen.
• Europäische Union: Die EU-Kommission hat bereits formale Schritte eingeleitet. Sie ordnete an, dass das soziale Netzwerk X alle internen Dokumente zu Groks Algorithmen und Content-Moderation bis Ende 2026 aufbewahren muss. Dies ist ein klares Indiz für ein langfristiges Ermittlungsverfahren möglicher Verstöße gegen den Digital Services Act (DSA).
• USA: Drei US-Senatoren forderten die Betreiber der großen App-Stores am Freitag auf, die Grok- und X-Apps umgehend zu entfernen. Die Erstellung von Missbrauchsdarstellungen Minderjähriger (CSAM) und nicht-einvernehmlicher Deepfakes verletze fundamental die Nutzungsbedingungen.

Technische Versäumnisse als Kern des Problems

Im Zentrum des Skandals steht das Bildmodell „Aurora“. Analysen der Internet Watch Foundation (IWF) zeigten bereits in der Vorwoche, dass die Tools mit einfachen Tricks zu umgehen waren. Es mangelte an grundlegenden Sicherheitsvorkehrungen, sogenannten „adversarial filters“.

Eine unabhängige Analyse der Forscherin Genevieve Oh verdeutlichte das Ausmaß: Vor der Restriktion produzierte Grok schädliche Bilder in einer Geschwindigkeit, die andere bekannte Deepfake-Plattformen bei weitem übertraf. Diese technischen Mängel werfen grundsätzliche Fragen zur Entwicklung und Freigabe leistungsstarker KI-Modelle auf.

Markt und Reputation unter Druck

Der Vorfall trifft xAI in einer sensiblen Phase. Erst am vergangenen Dienstag sicherte sich das Unternehmen in einer Series-E-Finanzierungsrunde 20 Milliarden Euro – auch mit dem Versprechen fortschrittlicher Multimodal-Fähigkeiten. Jetzt sind genau diese Features zum größten Risiko geworden.

Das angekündigte Programm „Grok for Government“, mit dem xAI um öffentliche Aufträge werben wollte, steht vor erheblichen Widerständen. Behörden werden die Zusammenarbeit mit einem Unternehmen, das wegen der Ermöglichung digitalen Missbrauchs untersucht wird, neu bewerten müssen.

Was kommt jetzt?

Die kommende Woche wird entscheidend sein. Rechtsexperten rechnen damit, dass die EU von Beweissicherungs-Anordnungen zu formellen Vertragsverletzungsverfahren übergehen könnte. Diese können Bußgelder von bis zu sechs Prozent des weltweiten Umsatzes nach sich ziehen.

Für die gesamte KI-Branche dürfte der Fall ein Weckruf sein. Er wird Forderungen nach verbindlichen „Safety-by-Design“-Prinzipien und nach speziellen Gesetzen gegen Deepfake-Pornografie weiter befeuern. Die Ära des „Move fast and break things“ in der KI stößt hier auf die harte Realität rechtlicher Verantwortung. Die Frage ist nicht mehr ob, sondern wie streng die Regulierung ausfallen wird.

Übrigens: Die neuen Vorgaben zur EU‑KI‑Verordnung setzen konkrete Fristen und Anforderungen an Transparenz, Risikobewertung und Nachweisdokumentation. Unser Gratis‑Leitfaden fasst Kennzeichnungspflichten, Übergangsfristen und praxisnahe Checklisten kompakt zusammen und zeigt Entwicklern, Betreibern und Compliance-Teams, wie sie multimodale Systeme rechtssicher einstufen und dokumentieren. Besonders hilfreich: konkrete Schritte für „Safety by Design“. Jetzt kostenlosen KI‑Leitfaden herunterladen