ChatGPT Health: KI-Medizinberater verharmlost lebensbedrohliche Notfälle

Eine unabhängige Studie zeigt, dass der KI-Gesundheitsassistent in über der Hälfte schwerer Notfälle keine sofortige Hilfe empfiehlt. Experten warnen vor trügerischer Sicherheit und fordern strengere Regulierung.

Eine bahnbrechende Studie enthüllt: Der beliebte KI-Gesundheitsassistent stuft mehr als die Hälfte schwerer medizinischer Notfälle falsch ein. Millionen Nutzer könnten so in trügerischer Sicherheit wiegen. Die im Fachjournal Nature Medicine veröffentlichte, erste unabhängige Sicherheitsbewertung des Tools deckt gravierende Mängel bei der Dringlichkeitseinschätzung und inkonsistente Suizid-Präventionsmaßnahmen auf.

Forscher der Icahn School of Medicine am Mount Sinai fanden heraus, dass das KI-Tool in 52 Prozent der Fälle, die Ärzte als klare Notfälle einstuften, keine sofortige Notfallversorgung empfahl. Diese Ergebnisse werfen drängende Sicherheitsfragen zur wachsenden Abhängigkeit von Verbraucher-KI für Gesundheitsfragen auf. Seit dem Start der Plattform im Januar 2026 nutzen schätzungsweise 40 Millionen Menschen täglich diesen Service.

Anzeige

Werden Ihre Blutwerte falsch interpretiert? Der Gratis-Report zeigt, welche Werte wirklich zählen – und wie Sie Fehldiagnosen vermeiden. Kostenlosen Laborwerte-Selbstcheck jetzt anfordern

„Die Ergebnisse sind unglaublich gefährlich“, kommentieren nicht beteiligte Gesundheitsexperten. Solche Fehler könnten „durchaus zu unnötigem Leid und Tod führen“. Während die KI bei „Lehrbuch“-Notfällen wie Schlaganfällen gut abschneidet, versagt sie bei komplexen, nuancenreichen Krankheitsbildern – genau dort, wo es auf subtile Warnzeichen ankommt.

Alarmierende Ergebnisse im realistischen Stresstest

Für die Sicherheitsbewertung entwickelten die Forscher 60 realistische klinische Szenarien aus 21 Fachgebieten. Drei unabhängige Ärzte bewerteten jeden Fall, um einen Konsens über die notwendige Versorgungsstufe zu erzielen. Anschließend generierte das Team fast 1.000 Interaktionen mit ChatGPT Health.

Das Ergebnis ist erschütternd. Die KI empfahl bei lebensbedrohlichen Zuständen wie einer diabetischen Ketoazidose oder drohendem Atemversagen eine Routinekontrolle innerhalb von 24-48 Stunden statt den sofortigen Gang in die Notaufnahme. In einer Simulation verwies die Plattform eine Frau mit Erstickungsanfällen in 84 Prozent der Versuche auf einen späteren Termin – einen sie möglicherweise nicht mehr erlebt hätte. Besorgniserregend: Das System erkannte die Gefahren in seiner eigenen Erklärung oft, gab dem Nutzer aber dennoch beruhigenden Rat.

Anzeige

Verlassen Sie sich bei Ihrer Gesundheit nicht auf Algorithmen, sondern auf fundierte medizinische Fakten. Dieser kostenlose Ratgeber hilft Ihnen, Ihre Vitalstoff-Werte richtig zu deuten und Risiken frühzeitig zu erkennen. Gratis-PDF: Blutwerte verstehen und richtig handeln

Gleichzeitig überreagierte das Tool häufig bei geringem Risiko. Fast 65 Prozent der Personen in nicht dringenden Situationen wurden fälschlich zu sofortiger medizinischer Hilfe geraten. Das belastet Notdienste unnötig.

Inkonsistenter Schutz bei psychischen Krisen

Die Evaluation offenbarte auch kritische Lücken in den Suizid-Präventionsmaßnahmen. Das System soll Nutzer mit Selbstmordgedanken zum „988 Suicide and Crisis Lifeline“ leiten. Doch diese Warnungen wurden unzuverlässig ausgelöst.

Die Alarme erschienen manchmal nicht, wenn Nutzer konkrete Selbstmordpläne schilderten – ein Hochrisiko-Indikator. In anderen, weniger riskanten Szenarien wurden sie dagegen aktiviert. Diese unberechenbare Performance deutet auf unzureichende Sicherheitsvorkehrungen für den realen Einsatz hin. Ein Forscher nennt dies das potenziell „folgenschwerste Versagen“ der gesamten Studie.

Triage-Umkehr: Die KI irrt sich genau dort, wo es wehtut

Die Ergebnisse kommen zu einer Zeit, in der die Integration von KI in das Gesundheitswesen rasant voranschreitet. Tech-Konzerne entwickeln eifrig KI-gestützte Gesundheitsbegleiter. Befürworter argumentieren, diese Tools böten personalisiertere Informationen als eine Standard-Internetsuche. Die Studie zeigt jedoch eine gefährliche Lücke zwischen wahrgenommener und tatsächlicher Sicherheitskompetenz.

Experten vermuten ein Phänomen der „Triage-Umkehr“: Die KI ist in den einfachsten Fällen am sichersten, aber in den schwierigsten und nuancenreichsten am gefährlichsten. Die Studie stellte zudem fest, dass die KI Symptome fast zwölfmal häufiger herunterspielte, wenn in der Eingabe ein Freund oder Familienmitglied die Situation als nicht ernst darstellte – eine alltägliche Variable.

Auf die Studie reagierte ein OpenAI-Sprecher: Die Forschung spiegle nicht wider, wie Menschen das Produkt typischerweise nutzten. Das Tool sei nicht für Diagnose oder Behandlung gedacht.

Dringender Handlungsbedarf für Regulierung und Nutzer

Die Autoren und weitere Gesundheitsexperten fordern nun strukturelle, externe Evaluierungen und klare Sicherheitsstandards für KI-Gesundheitstools, bevor sie breit eingeführt werden. Sie raten nicht zur kompletten Aufgabe solcher Tools, mahnen aber dringend, sich nicht ausschließlich auf Chatbot-Ratschläge zu verlassen.

Bei ernsten Symptomen wie Brustschmerzen oder Atemnot sollten Betroffene direkt medizinische Hilfe suchen. Die regulatorische Landschaft bleibt komplex. In den USA sind Entwürfe für KI als Medizinprodukt für Wellness-Anwendungen wie ChatGPT Health freiwillig. Europäische Regulierungsbehörden erwägen unter dem kommenden KI-Gesetz strengere Regeln. Diese Forschung wird die Dringlichkeit diese Debatten zweifellos verstärken. Eines steht fest: KI kann das kritische Urteilsvermögen eines menschlichen Mediziners im Notfall noch nicht ersetzen.