KI-Protokollant: Ärzte warnen vor Halluzinationen in Patientenakten
Veröffentlicht am: 14.08.2026 um 14:24 Uhr | Redaktion boerse-global.de
In einer urologischen Fachpraxis hat ein schwerwiegender Dokumentationsfehler durch eine künstliche Intelligenz zu erheblichen Belastungen für eine Patientin geführt. Ein sogenannter KI-Protokollant (AI Scribe), der zur automatisierten Erfassung von Patientengesprächen eingesetzt wird, generierte einen fälschlichen Bericht über die Patientin Rebecca Green.
In diesem Dokument wurde behauptet, die Betroffene habe während eines urologischen Termins den Konsum von psychedelischen Pilzen eingeräumt. Dieser Vorfall wirft neue Fragen zur Zuverlässigkeit und Überwachung von KI-Systemen im klinischen Umfeld auf.
Entdeckung des Fehlers nach chirurgischem Eingriff
Die fehlerhafte Dokumentation blieb über einen längeren Zeitraum unbemerkt. Der Fehler in den medizinischen Unterlagen trat erst zutage, nachdem sich die Patientin im März einer Operation aufgrund von Nierensteinen unterzogen hatte. Erst im Nachgang dieses Eingriffs wurden die unzutreffenden Angaben in der elektronischen Patientenakte entdeckt.
Der behandelnde Arzt hat inzwischen auf den Vorfall reagiert. Er entschuldigte sich bei Rebecca Green für die fehlerhafte Erfassung durch das System und veranlasste eine Korrektur des betroffenen Datensatzes. Dennoch wiegt der Vorfall für die Patientin schwer. Rebecca Green äußerte sich zutiefst erschüttert über die falsche Unterstellung in ihrer Krankenakte und gab an, durch die Ereignisse am Boden zerstört zu sein.
Risiken automatisierter Dokumentationssysteme
Der fehlerhafte KI-Bericht in der Patientenakte verdeutlicht, wie wichtig eine präzise Risikodokumentation beim Einsatz von Algorithmen ist. Dieser kostenlose Umsetzungsleitfaden bietet Unternehmen einen kompakten Überblick über alle Anforderungen und Pflichten der neuen EU-Gesetzgebung. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt
Der Einsatz von KI-Protokollanten gilt in der medizinischen Branche eigentlich als Mittel, um die administrative Last für Mediziner zu senken. Die Software soll Gespräche zwischen Arzt und Patient in Echtzeit transkribieren und in strukturierte medizinische Berichte überführen.
Der aktuelle Fall verdeutlicht jedoch das Risiko sogenannter Halluzinationen oder Fehlinterpretationen durch die Algorithmen, die ohne eine lückenlose menschliche Kontrolle weitreichende Konsequenzen für die betroffenen Patienten haben können.
Für die betroffene Patientin bedeutet ein solcher Eintrag in der medizinischen Historie nicht nur eine persönliche Belastung, sondern potenziell auch medizinische und versicherungstechnische Risiken. Falsche Angaben über Substanzkonsum können künftige Diagnosen beeinflussen oder die Glaubwürdigkeit von Patienten gegenüber anderem medizinischen Personal sowie Versicherungen untergraben.
Wer sich mit dem Einsatz von KI-Systemen befasst, muss wissen, welche Anwendungen als Hochrisiko eingestuft werden, um rechtlich auf der sicheren Seite zu sein. Dieser kostenlose Report klärt darüber auf, was Verantwortliche jetzt konkret tun müssen, um die neuen Regeln zu erfüllen. Welche KI-Systeme gelten als Hochrisiko – und was müssen Unternehmen jetzt konkret tun?
Notwendigkeit einer verstärkten Qualitätssicherung
Branchenbeobachter sehen in diesem Ereignis eine Mahnung zur Vorsicht beim Rollout von KI-Lösungen in sensiblen Bereichen der Gesundheitsversorgung. Zwar versprechen automatisierte Systeme eine Effizienzsteigerung, doch die Haftung für die Richtigkeit der Aktenführung verbleibt nach aktueller Rechtslage beim behandelnden Arzt.
Der Fall Green unterstreicht, dass automatisierte Berichte einer sorgfältigen Validierung bedürfen, bevor sie dauerhaft in die Patientenakte einfließen.
Die Korrektur des Datensatzes durch die Praxis stellt in diesem Fall die faktische Richtigkeit der Akte wieder her, kann jedoch die psychischen Folgen für die Patientin nur bedingt abmildern. Für die urologische Praxis und den Softwareanbieter bedeutet der Vorfall einen Vertrauensverlust in die eingesetzte Technologie, was die Bdabatte um strengere Standards für medizinische KI-Anwendungen weiter anheizen dürfte.
