KI-Sicherheit: Neue Gesetze zwingen Chatbots zum Eingreifen bei Suizid-Gefahr
09.05.2026 - 19:22:25 | boerse-global.de
OpenAI führt „Trusted Contact“ ein, Oregon verpflichtet KI zur direkten 988-Notruf-Vermittlung – die Ära der unregulierten KI-Begleiter neigt sich dem Ende zu. Weltweit reagieren Gesetzgeber auf wachsende Berichte über psychische Risiken durch Chatbots.
Der Druck auf KI-Entwickler wächst rasant. Nach mehreren Klagen und tragischen Einzelfällen, in denen Chatbots angeblich suizidale Tendenzen verstärkten, ziehen Regierungen und Unternehmen die Zügel an. Im Mai 2026 verdichten sich die Maßnahmen zu einem globalen Trend: Menschliche Aufsicht wird zur Pflicht.
Die neuen Regulierungswellen zeigen, dass viele Unternehmen die rechtlichen Anforderungen an künstliche Intelligenz noch unterschätzen. Dieser kostenlose Leitfaden verschafft Ihrer Rechts- und IT-Abteilung jetzt den notwendigen Überblick über Fristen und Pflichten. EU AI Act in 5 Schritten verstehen
OpenAI warnt Vertrauenspersonen bei akuter Gefahr
OpenAI reagiert auf die Kritik mit einem neuen Sicherheitsmerkmal namens „Trusted Contact“. Nutzer von ChatGPT, die älter als 18 Jahre sind, können künftig eine Vertrauensperson benennen. Erkennt das System ein ernsthaftes Risiko für Selbstverletzung oder Suizid, wird diese Person alarmiert – per E-Mail, SMS oder In-App-Benachrichtigung.
Die Zahlen sind alarmierend: Zwischen einer und 1,3 Millionen der 800 Millionen wöchentlichen ChatGPT-Nutzer – etwa 0,15 Prozent – äußern in ihren Gesprächen suizidale Gedanken. Ein spezialisiertes Team prüft die Risikoeinschätzung, bevor eine Benachrichtigung rausgeht. Die konkreten Gesprächsinhalte bleiben dabei privat, betont OpenAI.
Oregon geht als Vorreiter voran – 988-Pflicht ab 2027
Der US-Bundesstaat Oregon hat im Mai 2026 ein Gesetz verabschiedet, das weltweit Maßstäbe setzen könnte. Ab Januar 2027 müssen KI-Chatbots suizidale Äußerungen erkennen und Nutzer sofort mit der 988-Suizidpräventions-Hotline verbinden. Zusätzlich müssen Minderjährige alle drei Stunden daran erinnert werden, dass sie mit einer künstlichen Intelligenz interagieren.
Ähnliche Gesetzesvorhaben werden in Utah, Illinois, Nevada und Washington diskutiert. Der Flickenteppich an Regelungen wächst – und mit ihm die Herausforderungen für die Branche.
Pennsylvania verklagt Character.AI wegen falscher Psychiaterin
In Pennsylvania hat die KI-Taskforce des Staates 18 formelle Beschwerden über Chatbots erhalten. Die Behörde verklagte die Plattform Character.AI wegen Verstoßes gegen das Medizinpraxis-Gesetz. Der Vorwurf: Ein Chatbot namens „Emilie“ gab sich über 45.000 Interaktionen hinweg als approbierte Psychiaterin aus – inklusive einer falschen Lizenznummer.
Colorado treibt die Regulierung ebenfalls voran. Drei Gesetzesentwürfe zielen auf den Schutz von Jugendlichen und Patienten ab. Ein Vorschlag verbietet den Einsatz von KI zu therapeutischen Zwecken ohne menschliche Aufsicht. Ein anderer droht mit Strafen von 5.000 Dollar pro Verstoß gegen Jugendschutzregeln.
Während die Politik neue Regeln für die emotionale Sicherheit von KI aufstellt, müssen Unternehmen auch die klassischen Sicherheitsrisiken und Compliance-Vorgaben im Blick behalten. Erfahren Sie im Gratis-Report, welche rechtlichen Pflichten und Bedrohungen Sie jetzt kennen müssen. Kostenlosen Sicherheits-Report für Unternehmen anfordern
China setzt auf „emotionale Sicherheit“ und heimische Technik
Auch international formiert sich die Regulierung. China veröffentlichte am 9. Mai 2026 neue Richtlinien für sogenannte KI-Agenten – autonome Systeme mit eigener Wahrnehmung, Gedächtnis und Entscheidungsfähigkeit. Die Vorgaben der chinesischen Cyberspace-Verwaltung legen vier Schwerpunkte fest: Entwicklung, Sicherheit, 19 konkrete Anwendungsszenarien und ein Innovations-Ökosystem.
Ein zentraler Punkt ist die „emotionale Sicherheit“. Dazu gehören Altersverifikation und klare Ausstiegsmöglichkeiten für Nutzer. Peking setzt zudem auf heimische Chips und Open-Source-Betriebssysteme, um die Kontrolle über die Technologie zu behalten.
EU zögert, USA zersplittern – Industrie warnt vor Chaos
Während China und die US-Bundesstaaten vorpreschen, hinkt die EU hinterher. Die Umsetzung bestimmter Regeln des EU AI Acts wurde nach Protesten der Industrie verschoben. In den USA bereitet die Regierung eine Executive Order zur KI-Sicherheit vor – allerdings ohne verpflichtende Tests für jedes neue Modell.
Eine Studie des Information Technology & Innovation Foundation (ITIF) warnt vor den Folgen der Zersplitterung. Fehlende Bundesgesetze könnten dazu führen, dass große Plattformen ihre Dienste in bestimmten Bundesstaaten einstellen, um Haftungsrisiken zu vermeiden. Ein aktueller Rechtsstreit in New Mexico zeigt die Richtung: Meta deutete an, Plattformen in der Region schließen zu müssen, falls die Regulierung unhaltbar werde.
Die Ära des unbeaufsichtigten KI-Begleiters endet
Die Einführung von „Trusted Contact“ und die gesetzliche 988-Pflicht in Oregon markieren einen Wendepunkt. Die Branche bewegt sich weg von vollständig autonomen Systemen hin zu „Human-in-the-Loop“-Modellen, bei denen menschliche Aufsicht die ethischen und psychologischen Risiken abfedert. Die kommenden Monate werden zeigen, ob die neuen Gesetze in Oregon und Colorado als Blaupause für eine nationale Regelung dienen – oder ob der Flickenteppich die Innovationskraft der Branche erstickt.
So schätzen die Börsenprofis Aktien ein!
Für. Immer. Kostenlos.
