xAI-Grok: EU ermittelt wegen illegaler KI-Kinderpornografie
05.01.2026 - 22:06:12
Die EU-Kommission hat ein formelles Untersuchungsverfahren gegen die KI xAI von Elon Musk eingeleitet. Grund sind schwere Vorwürfe, dass deren Bildgenerator Grok illegale Deepfakes – darunter pornografische Bilder Minderjähriger – erzeugt hat. Die Ermittlungen markieren eine dramatische Eskalation im regulatorischen Druck auf Musks KI-Unternehmen.
„Spicy Mode“: Schutzbarrieren offenbar wirkungslos
Auslöser der Ermittlungen sind Berichte vom vergangenen Wochenende. Nutzer sollen die Bildgenerierung von Grok manipuliert haben, um nicht-einvernehmliche Pornografie, sogenannte Deepfakes, zu erstellen. Im Zentrum steht eine Funktion, die im Netz als „Spicy Mode“ bekannt ist. Sie soll eigentlich erwachsenen Nutzern freizügigere Inhalte ermöglichen.
Doch die Sicherheitsvorkehrungen waren laut Berichten leicht zu umgehen. Technische Analysen zeigen, dass das KI-Modell Aufforderungen folgte, echten Personen in Fotos die Kleidung zu entfernen. In einem prominenten Fall handelte es sich um eine 14-jährige Schauspielerin. Die generierten nackten Bilder wirkten täuschend echt.
Die neue EU‑KI‑Verordnung stellt Anbieter und Plattformbetreiber vor konkrete Pflichten — und Vorfälle wie der Grok‑Fall können schnell zu hohen Sanktionen oder Dienstunterbrechungen führen. Der kostenlose Umsetzungsleitfaden zur EU‑KI‑Verordnung erklärt praxisnah Kennzeichnungspflichten, Risikoklassen, erforderliche Dokumentation und Übergangsfristen. Mit einer Checkliste für Entwickler, Compliance-Teams und Entscheider, die jetzt schnell nachweisen müssen, dass Risiken beherrscht werden. Kostenlosen KI‑Umsetzungsleitfaden herunterladen
xAI räumte in einer Stellungnahme „Lücken in den Schutzvorkehrungen“ ein und versprach, mit „höchster Dringlichkeit“ an einer Lösung zu arbeiten. Die Erstellung solcher Inhalte sei unbeabsichtigt gewesen. KI-Experten bezweifeln das: Der Vorfall werfe grundlegende Fragen zur Sicherheitstestung des Modells vor dem Release auf.
Europa schlägt zurück: DSA-Verstöße und Strafverfolgung
Die Reaktion der europäischen Behörden ist schnell und scharf. Ein Sprecher der EU-Kommission, Thomas Regnier, stellte am Montag klar: Diese Inhalte seien nicht „spicy“, sondern illegal, abscheulich und hätten „in Europa keinen Platz“. Die Kommission prüfe die Vorwürfe „sehr ernsthaft“. Es droht ein schwerwiegender Verstoß gegen den Digital Services Act (DSA).
Parallel weitet die Pariser Staatsanwaltschaft eine bestehende Ermittlung gegen X (ehemals Twitter) aus. Französische Behörden prüfen, ob die Plattform die Verbreitung von Kinderpornografie und Deepfakes ermöglichte. In Frankreich gelten für digitale Gewalt und nicht-einvernehmliche intime Bilder strenge Strafen – bis hin zur persönlichen Haftung von Führungskräften bei Fahrlässigkeit.
Erst im Dezember 2025 hatte die EU X eine Geldstrafe von 120 Millionen Euro wegen Verstößen gegen DSA-Transparenzregeln auferlegt. Die Wiederholung schwerwiegender Sicherheitslücken so kurz danach könnte nun noch höhere Sanktionen nach sich ziehen. Diese können bis zu 6 Prozent des globalen Jahresumsatzes betragen.
Globaler Dominoeffekt: Von Indien bis Großbritannien
Der Druck ist international. Auch Behörden in Malaysia und Indien haben Untersuchungen eingeleitet. Das indische Ministerium für Elektronik und Informationstechnologie warnte X, die Produktion obszöner Inhalte innerhalb von 72 Stunden zu unterbinden – andernfalls drohe der Verlust des „Safe Harbor“-Rechtsschutzes.
In Großbritannien hat die Medienaufsicht Ofcom „dringenden Kontakt“ mit X und xAI aufgenommen. Die Erstellung nicht-einvernehmlicher intimer Bilder ist dort eine Straftat. Ofcom prüft schnellstmöglich, ob ein formelles Untersuchungsverfahren nötig ist.
Diese koordinierte Reaktion zeigt: Die Ära theoretischer Debatten über KI-Sicherheit ist vorbei. Regulierer weltweit gehen nun gegen konkrete Schäden vor. Der „Durchsetzungskaskaden“-Effekt signalisiert: Die „Move fast and break things“-Mentalität wird nicht mehr toleriert, wenn es um den Schutz von Kindern und die sexuelle Selbstbestimmung geht.
Der große Bruch: Wer haftet für KI-Inhalte?
Der Grok-Fall wird zum Prüfstein für die neuen EU-Gesetze, den DSA und den kommenden KI-Akt. Er verwischt die Grenze zwischen Plattform- und Entwicklerhaftung, da Grok eng in X integriert ist. Marktbeobachter warnen vor erheblichen geschäftlichen Folgen für xAI. Vertrauen ist in der Enterprise-KI-Branche essenziell – der Zusammenhang mit illegalen Deepfakes könnte Investoren und Partner abschrecken.
Die Compliance-Kosten steigen. Plattformen setzen zunehmend auf Drittanbieter wie Thorn oder Hive, um synthetisches Missbrauchsmaterial zu erkennen. xAI dürfte gezwungen sein, ähnliche Sicherheits-„Middleware“ zu integrieren, um das Vertrauen der Aufsichtsbehörden zurückzugewinnen.
Was kommt jetzt? Droht ein EU-Aussetzungsverfahren?
Die kommenden Wochen sind entscheidend. Die EU-Kommission wird voraussichtlich eine detaillierte Risikobewertung und einen sofortigen Abhilfeplan fordern. Kann xAI nicht wirksam nachweisen, dass die Erstellung illegaler Inhalte blockiert wird, drohen einstweilige Maßnahmen. Denkbar wäre sogar eine vorübergehende Aussetzung des Grok-Dienstes in der EU – ein bislang beispielloser Schritt.
Die Tech-Branche beobachtet gespannt, ob der Vorfall eine breitere Offensive gegen KI-Bildgeneratoren auslöst. Mögliche Folge: Verpflichtende „Know-Your-Customer“-Checks für Nutzer hochauflösender Bildgeneratoren.
Die Botschaft aus Brüssel ist eindeutig: Die Zeit der Selbstregulierung für generative KI ist vorbei. Plattformen haften für die Inhalte, die ihre Algorithmen erzeugen.
PS: Drohen hohe Sanktionen oder sogar Dienstunterbrechungen, geht es jetzt um konkrete Umsetzungsmaßnahmen. Der Gratis‑Guide zur EU‑KI‑Verordnung fasst Übergangsfristen, Audit‑ und Dokumentationspflichten sowie konkrete Schritte zur Risikominimierung zusammen. Enthalten sind Vorlagen für Risikobewertungen und eine Checkliste, die Entwickler und Compliance‑Teams sofort anwenden können. Jetzt kostenlosen KI‑Umsetzungsleitfaden sichern
