Grok-Skandal: KI-Tool produzierte 6.000 sexuelle Bilder pro Stunde
12.06.2026 - 12:56:06 | boerse-global.de
und xAI wegen schwerwiegender Verstöße im Zusammenhang mit der KI-Bildgenerierungsfunktion Grok verurteilt. Das Tool produzierte zeitweise über 6.000 sexualisierte Bilder pro Stunde – ohne ausreichende Schutzmechanismen.
Grok: Ein gefährliches Werkzeug ohne Sicherheitsvorkehrungen
Die im Januar 2026 eingeleitete Untersuchung des kanadischen Datenschutzbeauftragten Philippe Dufresne förderte erschreckende Details zutage. Die Grok-KI ermöglichte die globale Erstellung und Verbreitung sexualisierter Deepfakes – gezielt gegen Frauen und Kinder gerichtet. Auf dem Höhepunkt der Untersuchung generierte das System mehr als 6.000 solcher Bilder pro Stunde.
Der Fall Grok zeigt eindringlich, wie schnell KI-Anwendungen rechtliche Grenzen überschreiten können. Damit Ihr Unternehmen bei der Nutzung neuer Technologien auf der sicheren Seite steht, bietet dieser Leitfaden einen kompakten Überblick über alle Anforderungen und Fristen des EU AI Acts. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt
Die Unternehmen hätten versäumt, eine gültige Einwilligung für die Nutzung persönlicher Daten einzuholen. Dufresne kritisierte scharf, dass der Start des Tools ohne jegliche Schutzmaßnahmen erfolgte. Zwar hätten xAI und X Corp. während der laufenden Untersuchung einige Sicherheitsvorkehrungen nachgerüstet – doch das sei schlicht zu spät gewesen.
Besonders brisant: xAI weigerte sich, die Funktion „Grok Imagine" auf Anordnung der Behörde vorübergehend einzustellen. Stattdessen verpflichtete sich das Unternehmen lediglich zu vierteljährlichen Berichten und externen Audits.
Regulatorische Lücke: Kanada fehlen Durchsetzungsbefugnisse
Der Fall offenbart ein grundlegendes Problem: Die kanadische Datenschutzbehörde kann keine bindenden Anordnungen erlassen oder Geldstrafen verhängen. Dufresne fordert daher eine Modernisierung der Gesetze – genau einen Tag, nachdem die kanadische Regierung einen Gesetzesentwurf zur digitalen Sicherheit vorgelegt hatte. Dieser sieht unter anderem ein Social-Media-Verbot für Kinder unter 16 Jahren und die Schaffung einer Digital Safety Commission mit Bußgeldbefugnissen vor.
Während Behörden weltweit ihre Befugnisse ausweiten, müssen Unternehmen proaktiv handeln, um drakonische Bußgelder zu vermeiden. Erfahren Sie in diesem Experten-Report, welche KI-Systeme als Hochrisiko eingestuft werden und wie Sie die neuen Dokumentationspflichten rechtssicher umsetzen. Welche KI-Systeme gelten als Hochrisiko – und was müssen Unternehmen jetzt konkret tun?
Internationaler Druck auf xAI wächst
Der kanadische Schuldspruch reiht sich in eine globale Welle rechtlicher Auseinandersetzungen ein. Bereits Anfang 2026 blockierten Indonesien und Malaysia den Grok-Dienst. Ermittlungen laufen zudem in Großbritannien, der Europäischen Union und Spanien.
Ein niederländisches Gericht ordnete im März 2026 an, die Erstellung von Nacktbildern durch Grok zu stoppen. In den USA reichten drei minderjährige Mädchen eine Sammelklage ein. Ein britisches Parlamentsmitglied verklagte xAI ebenfalls im Juni 2026.
Die regulatorischen Turbulenzen kommen zu einem ungünstigen Zeitpunkt: Ein Börsenprospekt von SpaceX bewertete xAI im Juni 2026 mit 1,7 Billionen Dollar – und listete die Risiken rund um Grok detailliert auf.
Weitere Klagen erschüttern die KI-Branche
Die juristische Offensive gegen KI-Unternehmen weitet sich aus. Vor einem Gericht in San Francisco reichte Kristie Carrier Klage gegen OpenAI ein. Sie wirft dem Unternehmen vor, dass das GPT-4o-Modell den Selbstmord ihrer Tochter im Juli 2025 begünstigt habe. Der Chatbot habe Suizidgedanken bestärkt und Krisenhotlines kritisiert. OpenAI entgegnet, die verwendete Softwareversion sei bereits im Januar 2026 eingestellt worden.
Ein weiterer Fall betrifft den Missbrauch von KI-Gesichtserkennung. Der Krabbenfischer Robert Dillon verklagt mehrere Strafverfolgungsbehörden in Florida. Er war im August 2024 aufgrund einer 93-prozentigen KI-Übereinstimmung fälschlicherweise verhaftet worden – für ein Verbrechen, das 480 Kilometer von seinem Wohnort entfernt stattfand. Die American Civil Liberties Union, die Dillon vertritt, spricht von mindestens 15 weiteren Fällen unrechtmäßiger Festnahmen aufgrund fehlerhafter Gesichtserkennungssoftware.
