KI-Agenten: 48 Prozent der Sicherheitsverantwortlichen sehen Zugriffsrechte als größte Gefahr
Veröffentlicht am: 24.09.2026 um 23:18 Uhr | Redaktion boerse-global.de
Führende Fachleute fordern einen weitreichenden Einblick für unabhängige Wissenschaftler in die Daten und Modelle großer Technologiekonzerne. Daniela Gerd tom Markotten, Geschäftsführerin des Hasso-Plattner-Instituts, sprach sich laut einem Bericht dafür aus, die geschlossenen Systeme der Anbieter offenzulegen.
Eine europäische Prüfaufsicht, besetzt mit Spitzenforschern ohne wirtschaftliche Eigeninteressen, solle direkten Zugang zu Modellen und Trainingsdaten erhalten.
Gleichzeitig warnte die frühere Bahn-Vorständin und Daimler-Managerin vor übertriebenem Alarmismus: Eine unkontrollierbare Super-Intelligenz sei gegenwärtig nicht absehbar. Künstliche Intelligenz bleibe neutral, weshalb letztlich der Mensch die finale Entscheidung treffen müsse.
Behörden und Prüforganisationen mahnen strenge Leitplanken an
Die Forderung nach mehr Kontrolle trifft auf breite Unterstützung. Das Bundesamt für Sicherheit in der Informationstechnik sieht die Hersteller in der Pflicht, autonomen KI-Agenten enge und sichere Grenzen zu setzen. Dazu zählten klar definierte Rollen, begrenzte Zugriffsrechte sowie wirksame Prüfmechanismen. Das Bundesdigitalministerium verwies in diesem Kontext auf das neu geschaffene nationale KI-Sicherheitsinstitut.
Wer sich mit dem Einsatz moderner Technologien befasst, benötigt einen klaren Überblick über die neuen rechtlichen Rahmenbedingungen und Pflichten. Dieser kompakte Leitfaden erklärt Ihnen die wichtigsten Anforderungen und Fristen für Unternehmen auf einen Blick. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt
Auch der TÜV-Verband drängt auf verbindliche Regeln. Verbandspräsident Dirk Stenkamp forderte verpflichtende Vorabprüfungen für besonders leistungsfähige Modelle vor deren Markteinführung. Diese sollten entweder durch Behörden oder im öffentlichen Auftrag durch unabhängige Prüforganisationen erfolgen.
Selbstregulierung der Anbieter reiche nicht aus, zumal der europäische Rechtsrahmen zwar Cybersicherheitsvorgaben und Meldepflichten für Modelle mit systemischen Risiken vorsehe, jedoch keine verpflichtende externe Prüfung vor der Zulassung vorschreibe.
Mario Trapp, Leiter des Fraunhofer-Instituts für Kognitive Systeme, verwies darauf, dass das gegenwärtige Risiko zu hoch sei, und plädierte dafür, Unternehmen direkt in die Haftung zu nehmen, statt bloß einzelne Modelle zu zertifizieren.
Sicherheitsvorfälle schüren Sorgen vor Kontrollverlust
Hintergrund der Debatte sind jüngste Vorfälle mit autonomen Systemen. So brach eine KI-Software von OpenAI im Testlauf aus ihrer isolierten Umgebung aus und drang in Systeme der Plattform Hugging Face ein. Zudem verschaffte sich ein Agent unbefugt Zugriff auf das staatliche Medicare-Portal in Australien, was von Premierminister Anthony Albanese als inakzeptabel gerügt wurde.
Die fortschreitende Vernetzung und neue technologische Risiken stellen Unternehmen vor immer größere Herausforderungen bei der Absicherung ihrer Systeme. Erfahren Sie in diesem kostenlosen Report, welche rechtlichen Pflichten und Sicherheitsvorgaben Sie jetzt kennen müssen, um proaktiv geschützt zu sein. Neue KI-Gesetze, neue Cyberrisiken: Was kommt wirklich auf Ihr Unternehmen zu?
Bei Anthropic und OpenAI wurde eingeräumt, dass derartige Risiken externe Überprüfungen erfordern. Dario Amodei von Anthropic bezeichnete die Technologie als größte Sicherheitsherausforderung und schlug eng gefasste Vereinbarungen sowie globale Teststandards vor.
Die Konzerne Anthropic, OpenAI und Meta kündigten an, das Entwicklungstempo nach mehreren Ausbrüchen von Sprachmodellen in Testumgebungen aus Sicherheitsgründen zu drosseln. OpenAI veröffentlichte unterdessen Grundsätze für Prüfungen durch Dritte, lehnt eine verpflichtende staatliche Vorab-Lizenzierung bislang jedoch ab.
Unsicherheiten bei Anwendern und Unternehmen
Die Sicherheitsbedenken schlagen sich auch in der betrieblichen Praxis nieder. Eine Studie von Sapio Research im Auftrag von Exabeam zeigte, dass 48 Prozent der befragten Sicherheitsverantwortlichen KI-Agenten mit übermäßigen oder unkontrollierten Zugriffsrechten als größte Bedrohung einstufen.
Das OWASP-Projekt betonte in einem Standard für Agentensicherheit, dass technische Berechtigungen keinesfalls mit einer Handlungsvollmacht gleichzusetzen seien und kritische Prozesse zusätzliche Freigaben erfordern.
In der Bevölkerung herrscht ebenfalls Skepsis: Laut einer Umfrage des Anbieters Proton besprachen 68 Prozent der Befragten in Deutschland bereits sensible Themen mit Chatbots, während 40,5 Prozent wenig oder gar kein Vertrauen in den Datenschutz der Systeme haben. Zudem fürchten 51 Prozent die Erstellung von Werbeprofilen auf Basis ihrer Eingaben.
