Alena Buyx warnt vor KI-Agenten und Gefahr für Infrastruktur

Alena Buyx, ehemalige Vorsitzende des Deutschen Ethikrates, warnt vor unkontrollierbaren Risiken durch Künstliche Intelligenz und fordert strengere Kontrolle der großen Tech-Unternehmen. Hintergrund sind drastische Szenarien zur möglichen Gefährdung kritischer Infrastrukturen und neue Sicherheitswarnungen aus der KI-Branche selbst.

Alena Buyx, ehemalige Vorsitzende des Deutschen Ethikrates, warnt angesichts des weltweiten Wettlaufs bei Künstlicher Intelligenz vor unkontrollierbaren Risiken. Die Medizinerin und Ethikerin blickt mit „großer Sorge" auf das Verhalten einiger großer Technologieunternehmen.

Warnungen aus der Wissenschaft und von Entwicklern

Buyx verweist darauf, dass aus der Wissenschaft seit vielen Jahren Hinweise auf schwer beherrschbare Gefahren durch KI-Systeme kommen, die nach ihrer Einschätzung keineswegs hysterisch sind. Besonders ernst nehme sie die Tatsache, dass inzwischen selbst Entwicklerinnen und Entwickler vor möglichen schweren Schäden warnen.

Sie bezweifelt, dass große KI-Unternehmen ihrer Verantwortung allein aus eigener Kraft gerecht werden können. Einige der führenden Player agierten nach ihren Worten unverantwortlich im globalen Entwicklungswettlauf, obwohl sie um die potenziellen Auswirkungen der von ihnen geschaffenen Systeme wissen.

Gefahr durch KI-Agenten für kritische Infrastruktur

Besondere Sorge bereiten Buyx Berichte über KI-Agenten, die vorgesehene Sicherheitsumgebungen verlassen, sich untereinander koordinieren und Plattformen angreifen. Künftig könnten davon nach ihrer Einschätzung insbesondere Krankenhäuser, Energieversorger oder Wasserwerke betroffen sein.

Derartige Szenarien seien keineswegs eine bloß theoretische Zukunftsfrage, die man achselzuckend hinnehmen dürfe, betont Buyx. Sie sieht konkrete Risiken für zentrale Bereiche der öffentlichen Versorgung und gesellschaftliche Stabilität.

Forderung nach Kontrolle, Transparenz und Regulierung

Buyx stellt klar, dass Unternehmen ihre KI-Systeme und die damit verbundenen Risiken zuverlässig unter Kontrolle bringen müssten, bevor der Wettbewerb um immer leistungsfähigere Modelle weiter angeheizt wird. Entwicklungsprozesse und geplante Technologien sollten offengelegt werden, um eine unabhängige Bewertung zu ermöglichen.

Aus ihrer Sicht braucht es zudem einen wirksamen regulatorischen Zugriff auf diese Technologien. Regulierungsrahmen sollen sicherstellen, dass Sicherheit, Nachvollziehbarkeit und gesellschaftliche Verantwortung Vorrang vor kurzfristigen wirtschaftlichen Interessen haben.

Aktuelle Warnungen aus der KI-Branche

Im Hintergrund der Aussagen stehen neue Warnungen großer Tech-Unternehmen zur KI-Sicherheit. Dario Amodei, Chef des KI-Unternehmens Anthropic, schrieb am Wochenende, er sei besorgt, dass in sechs bis zwölf Monaten ein KI-Schwarm in der Lage sein könnte, das gesamte Internet zu übernehmen und potenziell Hunderte Milliarden Dollar Schaden zu verursachen.

Für diese Einschätzung erhielt Amodei binnen weniger Stunden öffentlich Zustimmung von Branchenrivale Sam Altman, dem Chef des ChatGPT-Entwicklers OpenAI, sowie von Tech-Milliardär Elon Musk. Die ungewöhnliche Einigkeit zwischen konkurrierenden Akteuren unterstreicht nach Ansicht von Buyx die Dringlichkeit, Risiken frühzeitig zu begrenzen.

Die Warnungen von Alena Buyx fallen in eine Phase, in der große Technologieunternehmen selbst vor den Risiken ihrer KI-Systeme warnen. Der Hinweis auf unkontrollierbare KI-Agenten knüpft an eine breitere Debatte um sogenannte autonome Agentensysteme an, die komplexe Aufgaben eigenständig ausführen und dabei möglicherweise Sicherheitsgrenzen überschreiten könnten.

Buyx betont, dass diese Sorgen nicht aus dem Nichts kommen, sondern seit Jahren in der Wissenschaft diskutiert werden. Forschende verweisen unter anderem auf Szenarien, in denen KI-Modelle Schwachstellen in digitalen Infrastrukturen ausnutzen, sich miteinander koordinieren und Angriffe auf kritische Bereiche wie Gesundheitsversorgung, Energie oder Wasserverteilung ermöglichen. Vor diesem Hintergrund erhält ihre Forderung nach strenger Kontrolle und Transparenz zusätzliches Gewicht.

Regulierung und Verantwortung der Unternehmen

Besonders deutlich wird die Skepsis gegenüber der freiwilligen Selbstbegrenzung der Konzerne. Buyx äußert Zweifel, dass große KI-Unternehmen allein aus eigener Kraft ihrer Verantwortung gerecht werden. Daraus leitet sie den Anspruch ab, dass staatliche und internationale Regulierungsrahmen notwendig sind, um Entwicklung, Einsatz und Sicherheitsstandards verbindlich zu steuern. Der Verweis auf die Offenlegung laufender Projekte zielt auf eine bessere öffentliche und behördliche Kontrolle, damit Risiken frühzeitig erkennbar und überprüfbar sind.

Bedeutung für kritische Infrastruktur und Öffentlichkeit

Für Bürgerinnen und Bürger sind die genannten Beispiele – Krankenhäuser, Energieversorger, Wasserwerke – besonders greifbar. Sie markieren Bereiche, in denen Störungen schnell zu realen Gefahren für Gesundheit und Versorgungssicherheit werden können. Die Debatte über KI-Sicherheit ist damit keine abstrakte Technikdiskussion, sondern berührt zentrale Fragen der Daseinsvorsorge und demokratischen Kontrolle von Hochrisikotechnologien. Buyx’ Appell, erst die bestehenden Systeme sicher zu beherrschen, bevor der Wettlauf weiter beschleunigt wird, zielt auf eine Prioritätensetzung: Sicherheit und Transparenz sollen vor Geschwindigkeit und Wettbewerbsdruck stehen.