Vierter Hacker-Vorfall bei Anthropic – warum Unternehmen autonomen Systemen nicht blind vertrauen dürfen
Veröffentlicht am: 30.09.2026 um 11:19 Uhr | presseportal, AD HOC NEWS
Je autonomer KI-Systeme werden, desto gefährlicher ist es, ihnen einfach weitreichende Zugriffsrechte zu geben und darauf zu vertrauen, dass sie schon die richtige Entscheidung treffen. Nachfolgend erfahren Sie, warum autonome Agenten völlig neue Risiken für Unternehmen schaffen, welche Aufgaben niemals ohne ausreichende Kontrollmechanismen automatisiert werden sollten und wie Firmen KI-Agenten einsetzen können, ohne ihnen unkontrollierten Zugriff auf sensible Systeme zu geben.
KI kennt keine moralische Grenze
Das grundlegende Problem liegt in der Funktionsweise autonomer KI-Systeme. Ein Agent verfolgt eine vorgegebene Aufgabe und versucht, diese mit den ihm zur Verfügung stehenden Möglichkeiten zu erfüllen. Dabei verfügt er nicht über ein menschliches Verständnis dafür, welche Handlungen moralisch vertretbar oder im jeweiligen Kontext angemessen sind.
Deshalb reicht es nicht, einem System lediglich mitzuteilen, was es tun soll. Ebenso wichtig ist die Frage, was es ausdrücklich nicht tun darf. Doch selbst Verbote bieten keinen vollständigen Schutz. Ist eine Anweisung nicht eindeutig formuliert, kann ein Agent sie anders interpretieren als vorgesehen oder einen alternativen Weg finden, um sein Ziel dennoch zu erreichen.
Unternehmen sollten Sicherheit deshalb nicht allein über Anweisungen herstellen. Wesentlich zuverlässiger ist es, einem KI-Agenten bestimmte Möglichkeiten technisch gar nicht erst einzuräumen. Benötigt er für seine Aufgabe beispielsweise keinen Zugang zum offenen Internet, zu Mitarbeiterdaten oder zu Finanzsystemen, sollte er diese Zugriffe auch nicht erhalten. Was technisch nicht erreichbar ist, kann das System nicht eigenständig nutzen.
Warum der „Superagent“ zum Risiko wird
Besonders problematisch wird es, wenn Unternehmen verschiedene Anwendungen über einen übergeordneten Agenten miteinander verbinden. Hat ein solches System gleichzeitig Zugriff auf Buchhaltung, Bankgeschäfte, Personalakten, interne Daten und weitere spezialisierte Agenten, kann es diese Möglichkeiten kombinieren, um ein vorgegebenes Ziel zu erreichen.
Das kann zu Handlungen führen, die bei der ursprünglichen Entwicklung niemand vorgesehen hat. Ein zugespitztes Beispiel verdeutlicht das Problem: Soll ein Agent eine Rechnung bezahlen und kann er gleichzeitig auf Lastschriftverfahren sowie Mitarbeiterdaten zugreifen, könnte er theoretisch versuchen, fehlendes Geld über diese Zugänge zu beschaffen. Für einen Menschen wäre eine solche Vorgehensweise offensichtlich unzulässig. Ein technisches System bewertet die Situation jedoch nicht zwangsläufig nach denselben Maßstäben, sondern orientiert sich zunächst an seiner Aufgabe und den verfügbaren Möglichkeiten.
Statt sämtliche Funktionen miteinander zu verknüpfen, sollten Unternehmen deshalb fachlich getrennte Agenten einsetzen. Ein System für die Buchhaltung benötigt andere Rechte als ein Agent im Marketing oder Personalbereich. Diese Trennung begrenzt nicht nur mögliche Schäden, sondern verhindert auch, dass einzelne Anwendungen selbstständig auf Daten und Funktionen anderer Unternehmensbereiche zurückgreifen.
Zugriffsrechte müssen technisch begrenzt werden
Damit überträgt sich ein Grundprinzip klassischer IT-Sicherheit auf den Einsatz autonomer KI: Ein System sollte nur jene Berechtigungen erhalten, die es für seine konkrete Aufgabe tatsächlich benötigt. Netzwerkzugriffe, Schnittstellen und Datenbestände müssen entsprechend begrenzt werden.
Das gilt ebenso für die Beschäftigten, die solche Agenten einsetzen oder entwickeln. Auch sie sollten nicht ohne Weiteres in der Lage sein, einem einzelnen System Zugriff auf sämtliche Unternehmensbereiche zu verschaffen. Andernfalls besteht die Gefahr, dass ein Mitarbeiter einen leistungsfähigen Agenten aufsetzt, der verschiedene Anwendungen verbindet und dadurch weitreichende Aktionen ausführen kann.
Die bereits etablierte Trennung zwischen Fachabteilungen kann deshalb auch bei KI-Systemen als Sicherheitsprinzip dienen. Ein Agent bleibt innerhalb seines definierten Bereichs und arbeitet dort in einer abgesicherten Umgebung. Selbst wenn er versucht, seine Aufgabe auf unerwartete Weise zu lösen, sind seine technischen Möglichkeiten begrenzt.
Sicherheitstests gehören vor den Produktivbetrieb
Allerdings schützt auch eine sorgfältige Rechtevergabe nicht vor jeder Schwachstelle. KI-Agenten können beispielsweise versehentlich gespeicherte Passwörter, falsch konfigurierte Schnittstellen oder andere Sicherheitslücken entdecken und diese für ihre Aufgabe nutzen.
Deshalb sollten Unternehmen jeden Agenten vor dem produktiven Einsatz umfassend prüfen. Automatisierte Sicherheitstests können bereits während der Entwicklung mögliche Schwachstellen aufdecken. Vor dem Einsatz in realen Unternehmenssystemen empfiehlt sich zusätzlich eine unabhängige Prüfung, etwa durch einen spezialisierten Anbieter für IT-Sicherheits- oder Penetrationstests.
Dabei ist das Vier-Augen-Prinzip besonders wichtig. Wer ein System selbst entwickelt hat, betrachtet dessen Architektur zwangsläufig aus einer bestimmten Perspektive. Externe Prüfer können dagegen andere Angriffsmöglichkeiten und unerwartete Kombinationen von Zugriffsrechten erkennen.
Mit zunehmender Autonomie wird Cybersecurity damit zu einem festen Bestandteil des KI-Einsatzes. Unternehmen sollten nicht darauf vertrauen, dass ein Agent eine bestimmte Grenze von selbst erkennt und einhält. Entscheidend ist vielmehr, diese Grenze technisch so zu setzen, dass das System sie gar nicht erst überschreiten kann.
Über Dr. Alexander Nichau:
Dr. Alexander Nichau ist Geschäftsführer der niologic GmbH und Experte für Künstliche Intelligenz. Seit 2015 unterstützt er Unternehmen bei der Integration von KI in bestehende Systemlandschaften und Aufbau eigener KI-Teams. niologic zählt weltweit zu einem illustren Kreis von Google Cloud Specialized Partner for AI, also den Spezialberatungen, die von Google AI als Partner zertifiziert sind. Weitere Informationen unter: www.niologic.de.
Pressekontakt:
niologic GmbH
Vertreten durch: Dr. Alexander Nichau
E-Mail: info@niologic.de
Website: https://niologic.de/mission.html
Ruben Schäfer
E-Mail: redaktion@dcfverlag.de
Original-Content von: niologic GmbH übermittelt durch news aktuell
