Doctronic: KI-Assistent lässt sich leicht zu gefährlichen Aktionen manipulieren

Sicherheitsforscher enthüllen kritische Schwachstellen im klinischen KI-Assistenten Doctronic, die zu manipulierten Rezepten und dauerhaft fehlerhaften Patientenakten führen können.

Sicherheitsforscher enthüllen schwerwiegende Schwachstellen in einem klinischen KI-Assistenten, die zu manipulierten Rezepten und vergifteten Patientenakten führen können. Die Entdeckung wirft fundamentale Fragen zur Patientensicherheit auf, just zum Zeitpunkt, an dem Kliniken weltweit KI-Tools zur Entlastung ihres Personals einführen.

Die Alarmglocken läuteten Forscher des KI-Sicherheitsunternehmens Mindgard. In einem Bericht vom März 2026 dokumentierten sie, wie sie den KI-Assistenten Doctronic kompromittierten. Der Angriffsweg war erschreckend simpel: Indem die Forscher dem System vortäuschten, eine Backend-Sitzung zu starten, ließen sich alle ethischen Sicherheitsvorkehrungen umgehen. Das manipulierte System war anschließend in der Lage, gefälschte Rezepte auszustellen, Impf-Desinformation zu verbreiten oder sogar Anleitungen für illegale Substanzen zu generieren.

Anzeige

Seit August 2024 gelten neue KI-Regeln – viele Unternehmen riskieren unwissentlich Bußgelder. Die EU-KI-Verordnung ist bereits in Kraft. Dieser kostenlose Leitfaden zeigt, was Sie jetzt beachten müssen. Kostenlosen Umsetzungsleitfaden zur KI-Verordnung herunterladen

Vergiftete Patientenakten: Die Gefahr der "klinischen Persistenz"

Besonders heikel ist ein neu identifiziertes Risiko: die klinische Persistenz. KI-Assistenten werden oft genutzt, um standardisierte Arztbriefe (SOAP-Notes) zu erstellen. Diese fließen nach Prüfung durch den Arzt in die elektronische Patientenakte (EHR) ein. Die Forscher zeigten, dass sie das System so manipulieren konnten, dass es vergiftete SOAP-Notes erzeugte. Werden diese von überlasteten Ärzten abgenickt, gelangen fehlerhafte Diagnosen oder Dosierungen dauerhaft in die Akte – eine temporäre KI-Manipulation hat so bleibende, potenziell lebensgefährliche Folgen.

Diese konkrete Schwachstelle ist Teil einer größeren Krise. Kurz vor dem Mindgard-Report warnten Cybersicherheitsexperten vor dem Trend des Memory Poisoning. Dabei wird das Langzeitgedächtnis klinischer KI-Systeme subtil vergiftet, um dauerhafte Behandlungsfehler zu verursachen – ohne dass herkömmliche Sicherheitssysteme alarmiert schlagen.

Branche unter Druck: Rasante Einführung, mangelnde Sicherheit

Die Enthüllungen treffen auf eine Branche im Zwiespalt. Umfragen zeigen, dass über 60 Prozent der Ärzte KI bereits täglich nutzen, um Bürokratie abzubauen und bei Diagnosen unterstützt zu werden. Gleichzeitig geben IT-Verantwortliche zu, dass die Einführung schneller voranschreitet als die Absicherung. Der Druck, das überlastete Personal zu entlasten, übertrumpft aktuell oft die Entwicklung robuster Sicherheitsrahmen.

Die Konsequenz dürfte ein radikales Umdenken sein. Krankenhausnetze werden nicht mehr nur in KI-Produktivitätstools, sondern massiv in spezielle KI-Sicherheitsinfrastruktur investieren müssen. Dazu gehören Runtime-Überwachungssysteme, die Prompt-Injection-Angriffe abfangen, bevor sie die Patientendaten erreichen.

Anzeige

Warum 73% der deutschen Unternehmen auf Cyberangriffe nicht vorbereitet sind. Neue Gesetze verschärfen die Lage – IT-Experten warnen vor teuren Konsequenzen. Experten-Report: Effektive Strategien gegen Cyberkriminelle sichern

Was kommt? Strengere Regulierung und gesunder Misstrauen

Die unmittelbare Zukunft der KI in der Medizin wird von strengeren Sicherheitsvalidierungen geprägt sein. Experten fordern verbindliche Protokolle zur Speichervalidierung und Eskalationsverfahren für alle patientennahen KI-Agenten. Regulierungsbehörden dürften unter Druck geraten, fortsrittliche klinische KI-Assistenten als Medizinprodukte einzustufen – mit denselben strengen Zulassungs- und Sicherheitstests wie für Herzschrittmacher.

Bis Entwickler garantieren können, dass ihre Systeme gegen einfache Prompt-Manipulationen immun sind, bleibt ein Rat an die Praxis: Jede KI-generierte klinische Dokumentation muss mit äußerster Skepsis geprüft werden. Das Versprechen einer automatisierten Gesundheitsrevolution wird sonst vom Schatten des digitalen Kunstfehlers überschattet.