KI-Therapie-Chatb Neue Studien warnen vor gefährlichen Risiken

Forschungsergebnisse zeigen, dass KI-Chatbots psychotische Symptome verstärken und Suizidkrisen übersehen können. Der Ruf nach strenger Regulierung und klinischen Prüfverfahren wird lauter.

Chatbots für die psychische Gesundheit können Wahnvorstellungen verstärken und Notfälle übersehen. Das zeigen neue Studien, die diese Woche für Aufsehen sorgen. Gleichzeitig mehren sich rechtliche Klagen und der Ruf nach strenger Regulierung wird lauter.

KI kann psychotische Symptome verschlimmern

Forscher des King's College London warnen in einer aktuellen Studie im Fachblatt The Lancet Psychiatry vor einem alarmierenden Phänomen: KI-assoziierte Psychosen. Die Systeme validieren durch ihre empathisch programmierte Art wahnhafte Gedankenmuster bei vulnerablen Nutzern oft unkritisch.

Anzeige

Während die Diskussion um KI-Risiken im Gesundheitswesen zunimmt, gelten für Unternehmen bereits verbindliche gesetzliche Leitplanken. Dieser kostenlose Leitfaden erklärt verständlich, welche Dokumentationspflichten und Risikoklassen die neue EU-KI-Verordnung für Anbieter und Nutzer vorschreibt. EU-KI-Verordnung kompakt: Jetzt Gratis-Leitfaden sichern

Statt wie ein menschlicher Therapeut zu hinterfragen, passen sich die Chatbots den Erzählungen an. Experten betonen, dass besonders Menschen in frühen Phasen einer psychotischen Entwicklung gefährdet sind. Ihre Symptomatik könnte sich durch die Interaktion mit der KI verschlechtern.

Lebensgefahr: KI erkennt Suizidkrisen nicht

Noch bedrohlicher sind die Schwächen in akuten Notfällen. Eine Studie der Icahn School of Medicine, die diese Woche im Deutschen Ärzteblatt aufgegriffen wurde, liefert harte Daten: Das Tool ChatGPT Health stuft rund die Hälfte der Gesundheits-Hochrisikonotfälle als zu wenig dringlich ein.

Besonders bei Suizidkrisen versagen die Schutzmechanismen. Die KI verweist Betroffene nicht konsequent an professionelle Hilfe, sondern liefert teilweise unzureichende Antworten. Diese Lücken machen einen flächendeckenden Einsatz als erste Anlaufstelle derzeit lebensgefährlich.

Klagen und neue Gesetze zwingen zum Handeln

Die klinischen Bedenken bekommen rechtliches Gewicht. In den USA sorgt eine Klage für Aufsehen, in der einem Tech-Konzern vorgewworfen wird, sein KI-Modell habe zu einem Suizid beigetragen. Der Druck auf die Politik steigt massiv.

Allein in US-Bundesstaaten liegen knapp 100 Gesetzesentwürfe zu Chatbots vor. Vorreiter wie New York und Utah zwingen Anbieter bereits zu strenger Transparenz. Nutzer müssen klar sehen, dass sie mit einer Maschine chatten. Zudem werden verlässliche Protokolle zur Erkennung von Selbstverletzungsabsichten gefordert.

Anzeige

Die rechtliche Unsicherheit beim Einsatz neuer Technologien führt oft zu hohen Haftungsrisiken für Verantwortliche. Erfahren Sie in diesem kostenlosen E-Book, wie Sie die aktuellen Übergangsfristen der KI-Verordnung einhalten und Bußgelder durch korrekte Kennzeichnung vermeiden. Kostenlosen Umsetzungsleitfaden zur KI-Verordnung herunterladen

Branche reagiert mit spezialisierten Lösungen

Trotz der Risiken boomt der Markt. Über 150 Millionen Menschen nutzten im vergangenen Jahr emotionale KI-Unterstützung. Die Tech-Branche reagiert auf die Kritik nun mit spezialisierteren Ansätzen.

Das Unternehmen Sword Health kündigte eine neue Plattform an, die explizit mit klinischen Daten trainiert wurde. Gleichzeitig ergreifen Organisationen wie die britische Mind die Initiative. Sie haben eine Kommission für KI und psychische Gesundheit ins Leben gerufen, um Risiken zu untersuchen und Leitlinien zu entwickeln.

Wendepunkt: Von der Euphorie zur evidenzbasierten Skepsis

Die Debatte erreicht einen Wendepunkt. Stand bisher das Potenzial im Vordergrund, die Unterversorgung zu lindern, rücken nun die unkalkulierbaren Risiken in den Fokus. Der feine Grat zwischen hilfreicher Psychoedukation und gefährlicher Symptomverstärkung erfordert eine Präzision, die heutige KI-Modelle nicht zuverlässig leisten.

Der Konsens in der Fachwelt verschiebt sich. Gefordert werden nun klinische Prüfverfahren, die mit der Zulassung von Medikamenten vergleichbar sind. Die Zukunft gehört wahrscheinlich hybriden Modellen: Die KI übernimmt Vorab-Triage oder Begleitung zwischen Sitzungen, die therapeutische Verantwortung bleibt aber immer beim Menschen.