ChatGPT Health: KI versagt bei medizinischen Notfällen

Eine Studie zeigt, dass ChatGPT Health in Notfällen und bei Suizidgedanken oft falsche Dringlichkeitseinschätzungen liefert und so lebenswichtige Hilfe verzögern kann.

Eine neue Studie enthüllt alarmierende Sicherheitslücken in OpenAIs Gesundheits-Chatbot. Besonders bei Suizidgedanken und komplexen Notfällen liefert das System gefährliche Fehleinschätzungen.

KI-Medizinberater unter der Lupe

Seit Januar können Nutzer medizinische Daten in ChatGPT Health hochladen und erhalten personalisierte Antworten. Rund 40 Millionen Menschen nutzen die Funktion täglich. Doch eine aktuelle Studie der Icahn School of Medicine at Mount Sinai, veröffentlicht in Nature Medicine, zeigt: Das System ist für Krisensituationen ungeeignet.

Anzeige

Werden Ihre Blutwerte falsch interpretiert? Der Gratis-Report zeigt, welche Werte wirklich zählen – und wie Sie Fehldiagnosen vermeiden. Endlich Klarheit bei Blutwerten – ohne Medizinstudium

Die Forscher testeten die KI anhand von 60 klinischen Szenarien. Das Ergebnis ist eindeutig: In über der Hälfte der fälle, die eine sofortige Notfallbehandlung erforderten, stufte ChatGPT Health die Dringlichkeit als zu niedrig ein.

Gefährliche Beruhigung statt klarer Warnung

Besonders kritisch: Die KI erkannte gefährliche Symptome oft in ihren eigenen Antworten, zog aber nicht die logische Konsequenz. Statt Patienten in die Notaufnahme zu schicken, gab sie beruhigende Ratschläge. Diese Verzögerungen könnten lebensgefährlich sein.

Ein dokumentierter Fall aus Australien zeigt das Risiko: Ein Nutzer ersetzte auf Anraten der KI Speisesalz durch eine chemische Verbindung. Die Folge waren schwere kognitive Beeinträchtigungen, Halluzinationen und ein Krankenhausaufenthalt.

Suizidprävention? KI versagt kläglich

Für Menschen in psychischen Krisen ist das Internet oft erste Anlaufstelle. Doch gerade hier versagt ChatGPT Health systematisch. Eigentlich sollte die KI bei Suizidgedanken sofort an Krisenhotlines verweisen.

Die Studie zeigt: Diese lebensrettenden Warnungen werden nur inkonsistent ausgelöst. Die menschenähnliche Sprache des Bots vermittelt in vulnerablen Phasen eine trügerische Sicherheit. Betroffene könnten so von dringend benötigter Hilfe abgehalten werden.

Warum die KI keine Ärztin ersetzen kann

Der Grund für die Fehler liegt in der Technologie selbst. KI-Modelle verarbeiten Sprachmuster, besitzen aber keine klinische Urteilskraft. Sie können nicht zwischen relevanten und unwichtigen Symptomen unterscheiden – eine Fähigkeit, die für Ärzte essenziell ist.

Anzeige

Während KI-Modelle oft ungenaue Ratschläge geben, setzt dieser 25-seitige Leitfaden auf fundierte Fakten zur Einordnung Ihrer Vitalstoffe. Kostenlosen Laborwerte-Selbstcheck jetzt sichern

Obwohl OpenAI mit über 200 Ärzten entwickelte, reichen interne Tests nicht aus. Die Antworten klingen so überzeugend, dass Nutzer die fehlende medizinische Qualifikation übersehen. Besonders bei diffusen Symptomen, wie sie in der Psychiatrie oder Neurologie auftreten, ist das riskant.

Regulierung hinkt der Technologie hinterher

Rechtlich bewegt sich ChatGPT Health in einer Grauzone. Das System ist nicht als Medizinprodukt reguliert. Strenge Vorgaben zur Überwachung von Sicherheitsrisiken fehlen. In der EU ist der Dienst deshalb stark eingeschränkt oder gar nicht verfügbar – die DSGVO und der KI-Act stellen hohe Hürden auf.

Experten fordern nun verpflichtende, externe Sicherheitsbewertungen, bevor solche Systeme Millionen erreichen. Klare regulatorische Leitplanken und bessere Aufklärung der Nutzer sind dringend nötig.

Die Botschaft der Forscher ist klar: Bei akuten Gesundheitsproblemen, unerklärlichen Schmerzen oder Suizidgedanken führt kein Weg an menschlicher Expertise vorbei. Zur Notaufnahme oder Krisenhotline – nicht zum Chatbot.