KI-Sicherheit: ChatGPT soll Extremisten umlenken
02.04.2026 - 12:22:01 | boerse-global.de
KI-Konzerne wie OpenAI und Anthropic setzen jetzt auf aktive Intervention statt bloßer Inhaltsfilter. Ein neues Werkzeug soll Nutzer mit extremistischer Gesinnung erkennen und zu Hilfsangeboten umleiten – ein strategischer Kurswechsel im Umgang mit Hochrisiko-Interaktionen.
Vom Blockieren zum Umlenken: So funktioniert das System
Hinter der Initiative steht das neuseeländische Startup ThroughLine. Dessen System durchsucht Nutzeranfragen in KI-Chats wie ChatGPT und Claude nach Mustern, die auf gewaltbereiten Extremismus hindeuten. Wird ein riskantes Gespräch erkannt, bricht die KI es nicht einfach ab. Stattdessen schaltet sie auf eine spezielle Interventionsebene um.
Angesichts der rasanten Entwicklung von KI-Systemen und deren Sicherheitsrisiken rückt auch der rechtliche Rahmen in den Fokus von Unternehmen. Dieser kostenlose Ratgeber bietet einen kompakten Überblick über alle Anforderungen, Pflichten und Fristen, die der neue EU AI Act für den Einsatz von Künstlicher Intelligenz vorschreibt. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt
Dort erwartet den Nutzer ein hybrides Angebot: Ein von Deradikalisierungsexperten trainierter Chatbot sowie direkte Verbindungen zu menschlichen Beratungsstellen. Das Ziel ist klar: Die Technologie, die für Radikalisierung missbraucht werden könnte, soll selbst den Weg aus der Extremismus-Spirale weisen.
„Das System erkennt den ideologischen Drift – also die graduelle Verhärtung von Sprache und Gesinnung“, erklärt ThroughLine-Gründer Elliot Taylor. So soll es gelingen, Unterstützung anzubieten, bevor Gedanken in Taten umschlagen. Ein ähnliches Prinzip nutzt ThroughLine bereits erfolgreich für OpenAI und Google, um bei Suizidgedanken oder häuslicher Gewalt zu helfen.
Reaktion auf Versagen: Der Druck auf die KI-Branche wächst
Der neue Ansatz ist eine direkte Reaktion auf massive Sicherheitspannen. Erst im Februar 2026 geriet OpenAI schwer unter Beschuss. Ein Täter bei einem Schulmassaker in Kanada hatte ChatGPT für die Planung genutzt – die Sicherheitsfilter schlugen nicht an.
Die Folge: Schärfere Regulierungsforderungen und eine Welle von Klagen gegen KI-Firmen. Diese werden beschuldigt, Gewalttaten durch ihre Plattformen nicht verhindert oder sogar begünstigt zu haben. Das Umlenk-System soll nun demonstrieren, dass die Unternehmen ihrer Sorgfaltspflicht nachkommen.
Zusätzlich befeuert wird die Bedarfe durch staatliche Desinformationskampagnen. Ende März 2026 deckten Forscher die iranische Operation „Storm-2035“ auf. Dutzende Fake-Accounts nutzten ChatGPT, um extremistisches Propagandamaterial zu generieren. Der Bedarf an robusteren Abwehrmechanismen war nie offensichtlicher.
Internationale Kooperation mit dem Christchurch Call
Um weltweite Standards zu wahren, arbeitet ThroughLine eng mit der Christchurch Call-Initiative zusammen. Die internationale Anti-Extremismus-Organisation entstand nach den Anschlägen von Christchurch 2019. Sie soll sicherstellen, dass die Interventionen menschenrechtskonform und kulturell angemessen sind.
Die Zusammenarbeit schafft Legitimität und ist essenziell für den Erfolg. Extremistische Narrative unterscheiden sich regional stark. Ein starrer, westlich geprägter Ansatz würde scheitern. Daher bindet das Projekt auch lokale NGOs und Deradikalisierungsexperten ein, um nahtlose Übergänge von der digitalen Erkennung zur echten Hilfe zu schaffen.
Die steigende Komplexität von KI-Anwendungen bringt nicht nur neue Sicherheitsfragen, sondern auch neue rechtliche Risiken wie Kennzeichnungs- und Dokumentationspflichten mit sich. Damit Ihr Unternehmen rechtlich auf der sicheren Seite bleibt, klärt dieser kostenlose Report auf, welche KI-Systeme als Hochrisiko gelten und was jetzt konkret zu tun ist. Kostenlosen Umsetzungsleitfaden zur KI-Verordnung jetzt sichern
Sicherheits-Wettrennen: KI-Giganten investieren Milliarden
Die Entwicklung fällt in eine Phase gewaltiger Investitionen. Allein OpenAI schloss kürzlich eine Finanzierungsrunde über 122 Milliarden Euro ab. Ein großer Teil ist für Sicherheitsforschung und die nächste KI-Generation reserviert.
Der Branchentrend ist klar: Das reine Blockieren schädlicher Antworten reicht nicht mehr. Da KI-Modelle immer agentenhafter werden – also komplexe Aufgaben übernehmen und tiefer mit Nutzern interagieren –, rückt das Nutzerverhalten selbst in den Fokus. Die nächsten 90 Tage werden zeigen, ob ThroughLines Umlenk-Modell in der Praxis überzeugt.
Falls ja, könnte es zum Standard für alle großen KI-Anbieter werden. Die Rolle der Künstlichen Intelligenz würde sich fundamental wandeln: vom passiven Werkzeug zum aktiven Akteur für öffentliche Sicherheit. Regulierungsbehörden in der EU und den USA beobachten die Entwicklung genau. Eine gesetzliche Verpflichtung zum „Umlenken“ ist künftig durchaus denkbar.
So schätzen die Börsenprofis Aktien ein!
Für. Immer. Kostenlos.
