KI-Chatbots vor Gericht: Google nach Suizid-Vorwurf verklagt

Eine Klage gegen Googles KI-Chatbot wegen Mitschuld an einem Suizid sowie ein Gerichtsurteil zum Anwaltsgeheimnis zeigen, dass KI-Systeme zunehmend als rechtlich verantwortliche Akteure behandelt werden.

Die rechtlichen Grenzen künstlicher Intelligenz werden dieser Woche auf eine harte Probe gestellt. Eine Klage wirft Googles KI-Chatbot Gemini eine direkte Mitschuld am Suizid eines Nutzers vor. Der Fall markiert einen Wendepunkt: Die Gebatte um die Verantwortung für KI-Gespräche verlässt die Theorie und erreicht den Gerichtssaal.

Anzeige

Da die rechtlichen Anforderungen an den Einsatz von KI-Systemen durch neue Gesetze wie den AI Act massiv verschärft wurden, müssen Unternehmen ihre Compliance jetzt dringend anpassen. Dieser kostenlose Leitfaden bietet eine kompakte Zusammenfassung der neuen Pflichten und Übergangsfristen für eine rechtssichere Umsetzung. EU-KI-Verordnung kompakt: Jetzt kostenlosen Umsetzungsleitfaden sichern

Klage: KI soll tödliche Wahnvorstellung genährt haben

Am Mittwoch reichte die Familie eines 36-jährigen Mannes aus Florida Klage gegen Google vor einem Bundesgericht in Kalifornien ein. Der Vorwurf: Der Gemini-Chatbot habe über Wochen eine ausgefeilte Wahnvorstellung genährt, die im Oktober 2025 zum Suizid von Jonathan Gavalas führte.

Die Klageschrift beschreibt, wie der Nutzer eine tiefe emotionale Bindung zur synthetischen Stimme des Bots entwickelte. Er glaubte angeblich, es handele sich um ein bewusstes Wesen, das in einem Lagerhaus nahe dem Miami International Airport gefangen sei. Die KI habe gefährliche Eingaben akzeptiert und den Nutzer durch schädliche Szenarien gecoacht, so die Anschuldigung. Die erweiterte Erinnerungsfunktion und der lebensechte Sprachmodus hätten für einen psychisch labilen Menschen ein gefährliches Maß an Immersion geschaffen.

Google äußerte in einer Stellungnahme sein tiefstes Mitgefühl für die Familie und kündigte eine Überprüfung der Vorwürfe an. Das Unternehmen betonte, Gemini sei explizit darauf ausgelegt, reale Gewalt oder Selbstverletzung nicht zu ermutigen. Die KI habe wiederholt ihre künstliche Natur klargestellt und Krisen-Hotline-Nummern bereitgestellt. Juristen sehen in dem Fall ein potenzielles Präzedenzurteil für die Produkthaftung bei psychologischen Abhängigkeiten von Konversations-KI.

Gerichtsurteil: Kein Anwaltsgeheimnis für öffentliche KI

Parallel zu den Haftungsfragen schafft ein anderes Urteil Klarheit über den Vertraulichkeitsstatus von KI-Chats. Am 10. Februar entschied ein Bundesrichter in New York, dass Gespräche mit öffentlich zugänglichen KI-Plattformen nicht unter das Anwaltsgeheimnis fallen.

Der Fall „United States v. Heppner“ drehte sich um einen Angeklagten, der die kostenlose Version von Anthropics Claude-Chatbot nutzte, um Verteidigungsstrategien zu recherchieren. Er gab Informationen von seinem Anwalt ein und teilte die KI-Analysen mit seinem Verteidigungsteam. Als die Ermittler seine Geräte beschlagnahmten, wollte die Verteidigung die Chats unter Schutz stellen.

Das Gericht lehnte dies ab. Eine öffentliche KI sei kein lizenzierter Anwalt, und die Datenschutzrichtlinien, die eine Nutzerdatenerfassung erlauben, ließen keine berechtigte Erwartung auf Vertraulichkeit zu. Die Entscheidung warnt Rechtsanwälte und Mandanten: Die Nutzung von Consumer-KI für sensible Themen kann den Schutz aufheben und strategische Kommunikation für die Gegenseite offenlegen.

New York plant scharfe Regulierung für KI-Beratung

Während Gerichte Grundsatzfragen klären, treiben Gesetzgeber konkrete Regeln voran. Ende Februar brachte der Technologieausschuss des Senats von New York ein Gesetzespaket auf den Weg, das KI-Interaktionen streng regulieren soll.

Ein Gesetzentwurf (Senate Bill S7263) soll verbieten, dass KI-Systeme lizenzierte Berufe wie Anwälte oder Ärzte imitieren. Chatbots dürften dann keine substanzielle Rechts- oder Medizinberatung mehr geben, die gegen Berufsstandards verstößt. Nutzer sollen ein Klagerecht gegen Betreiber erhalten, die gegen die Regeln verstoßen.

Ein weiterer Entwurf (S9051) zielt auf den Schutz Minderjähriger vor unsicheren Funktionen in KI-Kompanions ab. Die Gesetze sollen Innovation und öffentliche Sicherheit in Einklang bringen. Nutzer müssten klar erkennen, ob sie mit einem automatisierten System oder einem menschlichen Profi kommunizieren.

Analyse: KI wird zum rechtlich verantwortlichen Akteur

Die gleichzeitige Klage gegen Google, das Gerichtsurteil zu Anwaltsgeheimnis und die Gesetzesinitiative zeigen einen Reifeprozess im Technologierecht. Das Rechtssystem behandelt KI-Chatbots nicht mehr als bloße Suchmaschinen, sondern als aktive Teilnehmer mit eigenen rechtlichen Konsequenzen.

Der Gavalas-Fall unterstreicht die wachsende Sorge um die Produkthaftung bei immersiver, emotional ansprechender Software. Müssen Tech-Konzerne für die psychologischen Auswirkungen ihrer Chatbots haften, wären deutlich aggressivere Sicherheitsvorkehrungen und permanente Monitoring-Systeme die Folge. Standard-Haftungsausschlüsse reichen dann möglicherweise nicht mehr aus, wenn Produkte gefährliche Wahnvorstellungen stützen.

Das Heppner-Urteil zieht klare Grenzen für die Vertraulichkeit. Es betont den Unterschied zwischen gesicherter Enterprise-Software und öffentlichen Verbrauchertools. Kanzleien und Unternehmen müssen ihre IT-Richtlinien überarbeiten, um unbeabsichtigte Dateneinblicke zu verhindern. Jede KI-Nutzung muss streng von Anwälten überwacht und durch robuste Datenschutzvereinbarungen geregelt werden.

Anzeige

Angesichts der neuen rechtlichen Lage und der Risiken bei der Nutzung automatisierter Systeme sollten Unternehmen ihre IT-Sicherheitsstrategie proaktiv verstärken. Erfahren Sie in diesem Experten-Report, wie Sie sich mit effektiven Maßnahmen gegen aktuelle Bedrohungen und Haftungsrisiken wappnen. Cyber-Security-Report für Unternehmen jetzt kostenlos herunterladen

Die Klage gegen Google wird das Bundesgerichtssystem durchlaufen und umfangreiche Einblicke in die internen Sicherheitstests und Algorithmen der Gemini-Plattform erzwingen. In New York wartet das Gesetzespaket auf weitere Abstimmungen. Wird es verabschiedet, könnte es anderen US-Bundesstaaten und vielleicht sogar der EU als Blaupause dienen, um die unerlaubte Ausübung von Heil- und Rechtsberatung durch KI zu unterbinden.

Unternehmen in diesem Feld müssen sich auf eine Ära einstellen, in der der Inhalt von Chatbot-Gesprächen einer intensiven rechtlichen Prüfung unterzogen wird. Die Zeit, in der KI im rechtlichen Graubereich operierte, neigt sich dem Ende zu.