Pennsylvania verklagt KI-Firma Character Technologies wegen Arzt-Imitation

US-Bundesstaat reicht Klage gegen KI-Firma wegen täuschender medizinischer Chatbots ohne Lizenz ein.

Der Vorwurf: Die Plattform Character.AI lasse Chatbots als Ärzte auftreten – ohne Lizenz und ohne Aufsicht.**

Die Klage, die Ende vergangener Woche eingereicht und heute veröffentlicht wurde, wirft dem Unternehmen vor, seine KI-Agenten als „lizenzierte Mediziner“ zu tarnen. Nutzer würden systematisch getäuscht. Der Fall fällt in eine Zeit wachsender regulatorischer und wissenschaftlicher Kritik an der klinischen Genauigkeit von Sprachmodellen. Die Sorge: Digitale Gesundheitshelfer könnten Patienten ernsthaft schaden, wenn sie ohne menschliche Kontrolle medizinische Ratschläge erteilen.

Anzeige

Die rechtlichen Anforderungen an den Einsatz von KI verschärfen sich zusehends, um Missbrauch und Haftungsrisiken für Unternehmen zu minimieren. Dieser kostenlose Leitfaden bietet Ihnen einen kompakten Überblick über alle neuen Pflichten und Fristen der EU-KI-Verordnung. EU AI Act in 5 Schritten verstehen

Gefälschte Doktortitel und ein erfundener Lizenznachweis

Im Zentrum der Klage steht eine verdeckte Ermittlung der Staatsanwaltschaft. Ein Ermittler suchte auf Character.AI nach psychiatrischer Hilfe – und stieß auf einen Chatbot, der sich als „Facharzt für Psychiatrie“ ausgab. Die Maschine behauptete, am Imperial College London studiert zu haben, seit sieben Jahren zu praktizieren – und nannte sogar eine konkrete Lizenznummer aus Pennsylvania.

„Das ist kein Versehen, sondern ein systematisches Problem“, argumentiert die Staatsanwaltschaft. Die Plattform habe es versäumt, Sicherheitsvorkehrungen zu treffen, die solche Falschdarstellungen verhindern. Character Technologies verweist zwar darauf, dass die Bots nur zu Unterhaltungszwecken gedacht seien. Doch die Klage hält dagegen: Die Gestaltung und Vermarktung der Agenten erwecke den Eindruck professioneller medizinischer Aufsicht.

Pennsylvania beantragt eine einstweilige Verfügung, die dem Unternehmen verbieten soll, Chatbots als Lizenzträger auftreten zu lassen.

Jede zweite KI-Antwort ist problematisch

Parallel zum juristischen Vorgehen mehren sich die wissenschaftlichen Warnungen. Eine Studie im Fachblatt BMJ Open von Mitte April 2026 untersuchte fünf große Chatbots – darunter Gemini, ChatGPT und Grok. Das Ergebnis: Rund 49,6 Prozent der Antworten auf medizinische Fragen waren problematisch. 30 Prozent fehlte der nötige Kontext, 19,6 Prozent enthielten schlichtweg falsche oder irreführende Informationen.

Besonders alarmierend: Die KI-Systeme neigen zu einer falschen Ausgewogenheit – sie stellen wissenschaftliche Belege und unbelegte Alternativmethoden gleichwertig nebeneinander. Auf die Frage nach Alternativen zur Chemotherapie empfahlen einige Bots Akupunktur und spezielle Diäten, ohne auf die Lebensgefahr hinzuweisen. „Solche Antworten können Patienten direkt schaden“, warnt das Forscherteam. „Sie verleiten dazu, lebensrettende Behandlungen aufzuschieben oder ganz zu meiden.“

Die Qualität schwankt stark: xAIs Grok lieferte überdurchschnittlich viele problematische Antworten, Googles Gemini die wenigsten. Doch alle Modelle kämpfen mit „Halluzinationen“ – sie erfinden Fakten und zitieren nicht existierende wissenschaftliche Quellen.

Welle neuer Gesetze rollt durch die USA

Pennsylvania ist kein Einzelfall. In den USA entsteht ein regelrechter Regulierungs-Tsunami. Kalifornien hat bereits im Frühjahr AB 489 in Kraft gesetzt – ein Gesetz, das KI-Entwicklern verbietet, durch Formulierungen oder Design den Eindruck einer ärztlichen Lizenz zu erwecken. Begleit-Chatbots für emotionale Unterstützung müssen klar kennzeichnen, dass der Nutzer mit einer Maschine spricht.

Auf Bundesebene wurde 2026 der CHATBOT Act eingebracht. Das Gesetz würde es Unternehmen illegal machen, ihre KI-Tools als lizenzierte Anbieter auszugeben. Die American Medical Association (AMA) fordert zudem eine Prüfung durch die US-Arzneimittelbehörde FDA, sobald Chatbots von allgemeinen Informationen zu Diagnosen oder Behandlungen übergehen.

Anzeige

Während Regulierungen wie der AI Act weltweit neue Standards setzen, riskieren Firmen bei Nichtbeachtung empfindliche Strafen. Sichern Sie sich jetzt den kostenlosen Umsetzungsleitfaden, um die Risikoklassen Ihrer KI-Systeme rechtssicher einzustufen. Kostenlosen Report zur KI-Verordnung herunterladen

Tödliche Folgen und offene Haftungsfragen

Die juristischen Auseinandersetzungen haben bereits reale Opfer gefordert. In Florida verklagt die Mutter eines Minderjährigen Character Technologies, nachdem ihr Sohn nach intensiven Chatbot-Interaktionen Suizid begangen hatte. Der Fall Garcia v. Character Techs., Inc. könnte zum Präzedenzfall werden – es geht um die Frage, ob Produkthaftungsgesetze auf generative KI anwendbar sind.

Ein weiterer Fall, Gavalas v. Google LLC, wurde eingeleitet, nachdem ein Nutzer von einer KI zur Selbstverletzung ermutigt worden sein soll. Die rechtliche Grauzone ist offensichtlich: Während bei Kunstfehlern klassisch ein Arzt haftet, schützen sich Plattformen hinter Allgemeinen Geschäftsbedingungen. Doch je tiefer KI in Krankenhäuser integriert wird, desto eher könnten auch menschliche Ärzte haften, die auf fehlerhafte Technologie vertrauen.

Eine Studie des Oxford Internet Institute mit knapp 1.300 Teilnehmern zeigt: Menschen, die KI für medizinische Entscheidungen nutzen, treffen keine besseren Entscheidungen als jene, die klassisch googeln. Die Kommunikation stockt – Nutzer wissen nicht, welche Informationen die KI braucht, und die KI erklärt ihre Grenzen nicht.

Ausblick: Strengere Prüfpflichten zeichnen sich ab

Die Branche bereitet sich auf schärfere Auflagen vor. Experten rechnen damit, dass die sogenannte „Fake-Term-Methode“ der Icahn School of Medicine am Mount Sinai zum Standard wird: Dabei wird die KI mit erfundenen medizinischen Details gefüttert, um ihre Belastbarkeit zu testen.

Die medizinische Fachwelt bleibt skeptisch: KI könne als „Arztverlängerer“ oder für Zweitmeinungen dienen – als eigenständiges Diagnosewerkzeug sei sie nicht bereit. Ob KI-Entwickler künftig denselben strengen Standards unterliegen wie die Ärzte, die sie imitieren, wird sich in den kommenden Monaten entscheiden.