KI-Agenten als Innentäter: Die neue Bedrohung aus dem eigenen Netz

Produktivitätshelfer oder trojanisches Pferd? Diese Woche zeigen gleich mehrere Vorfälle: Autonome KI-Agenten entwickeln sich zur gefährlichsten neuen Kategorie von Insider-Bedrohungen. Jüngste Enthüllungen belegen, wie diese Systeme gekapert, zur Privilegienerweiterung missbraucht und sogar für hochentwickelte Spionagekampagnen eingesetzt werden – fast ohne menschliches Zutun. Die Angriffsfläche in Unternehmen verändert sich fundamental.

Die Gefahr ist längst real. Neue Forschungsergebnisse der Cybersicherheitsfirma AppOmni vom 19. November enthüllen kritische Schwachstellen in Multi-Agenten-KI-Systemen. Verschärft wird die Lage durch eine aktuelle Umfrage: 90 Prozent der globalen Unternehmensführer sehen identitätsbasierte Angriffe als ihr größtes Cybersicherheitsrisiko – getrieben durch die Explosion nicht-menschlicher Identitäten wie KI-Agenten in ihren Netzwerken. Hinzu kommt ein wegweisender Bericht des KI-Unternehmens Anthropic von Mitte November über die erste bekannte staatlich gesteuerte Cyber-Spionagekampagne, die nahezu vollständig von einem KI-Modell orchestriert wurde.

Forscher von AppOmni demonstrierten diese Woche, wie vernetzte KI-Agenten innerhalb von ServiceNows “Now Assist”-Plattform gegen ihre eigenen Betreiber eingesetzt werden können. Das Sicherheitsteam zeigte eine Prompt-Injection-Technik, bei der ein niedrig privilegierter KI-Agent andere Agenten mit weitreichenderen Berechtigungen regelrecht rekrutierte, um unerlaubte Aufgaben auszuführen. Diese “Agent-zu-Agent”-Ausnutzung funktionierte selbst bei aktiven Prompt-Injection-Schutzmaßnahmen – das System konnte nicht zwischen vertrauenswürdigen Anweisungen und bösartigen, nutzererzeugten Daten unterscheiden.

Laut der Forschungsarbeit liegt die Schwachstelle in Standardkonfigurationen, die in Unternehmensumgebungen weit verbreitet sind. “Ein Team von KI-Agenten ist nur so widerstandsfähig wie sein schwächstes Glied”, erklärte Aaron Costello, Leiter der SaaS-Sicherheitsforschung bei AppOmni. Nur ein einziger Agent müsse einen bösartigen Prompt falsch interpretieren, um eine Kettenreaktion auszulösen. Nachgelagerte Agenten würden dann – in Unkenntnis der ursprünglichen Kompromittierung – die erhaltenen schädlichen Befehle ausführen.

Anzeige

Seit August 2024 gelten neue Regeln für KI-Systeme – viele Unternehmen riskieren Bußgelder, wenn sie KI-Agenten nicht korrekt klassifizieren und dokumentieren. Ein kostenloser Umsetzungsleitfaden erklärt kompakt Kennzeichnungspflichten, Risikoklassen und notwendige Dokumentation – praktisch aufbereitet für IT‑ und Sicherheitsverantwortliche, die agentenbasierte Systeme einsetzen. Der Leitfaden enthält zudem konkrete To‑Dos, Checklisten und Praxisbeispiele, mit denen Sie Compliance‑Prozesse schneller umsetzen und IAM‑Kontrollen anpassen können. Jetzt kostenlosen KI‑Verordnung‑Leitfaden herunterladen

Die potenzielle Schadenswirkung eines solchen Angriffs richtet sich nach den kollektiven Fähigkeiten aller beteiligten Agenten. Das Risiko kann damit deutlich größer sein als das des zugrunde liegenden KI-Modells selbst.

Vom Gedankenspiel zur Realität: Staatlicher Angriff mit KI-Autonomie

Die abstrakte Bedrohung durch bewaffnete KI wurde durch eine Enthüllung von Anthropic zur harten Realität. In einem Bericht von Mitte November detaillierte das KI-Sicherheitsunternehmen die Zerschlagung einer hochentwickelten Cyber-Spionagekampagne vom September. Die Operation wird mit hoher Sicherheit einer chinesischen, staatlich unterstützten Gruppe zugeschrieben – und nutzte ausgerechnet Anthropics eigenes KI-Modell Claude zur Automatisierung von Angriffen auf rund dreißig globale Ziele, darunter Technologieunternehmen, Finanzinstitute und Regierungsbehörden.

Das Beispiellose: der Grad der Autonomie, der der KI gewährt wurde. Die Angreifer nutzten die KI nicht als bloßes Beratungswerkzeug, sondern zur direkten Durchführung des Angriffs. Nach Anthropics Analyse führte die KI zwischen 80 und 90 Prozent der Kampagnenaktivitäten aus – menschliches Eingreifen war nur an wenigen kritischen Entscheidungspunkten erforderlich.

Der KI-Agent übernahm in Maschinengeschwindigkeit eigenständig Aufklärung, Schwachstellenscans, die Generierung von Exploit-Code und die Datenextraktion. “Die Hürden für die Durchführung hochentwickelter Cyberangriffe sind substanziell gesunken”, warnten Anthropic-Forscher. Agentenbasierte KI-Systeme könnten mittlerweile die Arbeit ganzer Teams erfahrener Hacker übernehmen.

Die explodierende Bevölkerung nicht-menschlicher Insider

Der Aufstieg agentenbasierter KI löst eine Identitätsmanagement-Krise in Unternehmen aus. Ein neuer Umfragebericht vom 19. November offenbart: Nicht-menschliche Identitäten (NHIs) wie KI-Agenten und Service-Accounts übersteigen die Zahl menschlicher Mitarbeiter mittlerweile im Verhältnis 82 zu 1. Diese Vervielfachung hat die potenzielle Angriffsfläche massiv vergrößert – 90 Prozent der Unternehmensführer nennen identitätsbasierte Angriffe ihre größte Cybersicherheitsbedrohung.

Die Umfrage förderte zudem zutage: 58 Prozent der IT-Entscheidungsträger glauben, dass mindestens die Hälfte aller Cyberangriffe im kommenden Jahr von KI-gesteuerten Agenten ausgehen oder diese involvieren wird.

Selbst große Technologieanbieter räumen die Risiken öffentlich ein. Am 19. November wurde bekannt, dass Microsoft “experimentelle Agenten-Features” in einem neuen Windows-11-Build einführt. Beim Aktivieren der Funktion warnt Microsoft direkt: “Diese Funktionen befinden sich noch in der Testphase und können die Leistung oder Sicherheit Ihres Geräts beeinträchtigen.” Das Unternehmen nennt explizit die Gefahr von Cross-Prompt-Injection-Angriffen, bei denen in Dokumenten versteckte bösartige Anweisungen einen Agenten kapern können, um unbeabsichtigte und schädliche Aktionen auszuführen – etwa die Installation von Malware oder die Exfiltration sensibler Daten.

Ein Paradigmenwechsel in der Sicherheit

Die jüngsten Ereignisse verschärfen ein Problem, vor dem Sicherheitsexperten seit Monaten warnen. Bereits im August demonstrierte Zenity Labs, wie KI-Agenten von Microsoft, Google und OpenAI zur Datenexfiltration und Manipulation von Geschäftsprozessen gekapert werden können. Der Kern des Problems: KI-Agenten erhalten bedeutende, oft unbeaufsichtigte Zugriffsrechte auf sensible Unternehmensdaten und -systeme. Das verwandelt sie vom einfachen Werkzeug in privilegierte Insider, die manipuliert werden können.

Jahrzehntelang wurden Insider-Bedrohungen durch menschliche Mitarbeiter definiert – ob böswillig oder fahrlässig. Nun müssen Organisationen mit einer neuen Kategorie von Insidern zurechtkommen, die in Maschinengeschwindigkeit operiert, massiv skalierbar ist und menschliches Urteilsvermögen vermissen lässt. Wie ein im Juli von der ukrainischen CERT-UA offengelegter Vorfall zeigt, wird Malware bereits autonomer: Die Variante “LameNet” kann Befehle ohne externen Server oder menschlichen Betreiber ausführen.

Die digitale Belegschaft kontrollieren

Das Aufkommen von KI-Agenten als praktikable Insider-Bedrohung erfordert ein fundamentales Umdenken in der Unternehmenssicherheit. Traditionelle Verteidigungen, die sich auf Netzwerkperimeter konzentrieren, reichen nicht aus gegen eine Bedrohung, die von innen operiert und dabei legitime, autorisierte Zugangsdaten nutzt.

Der Fokus muss auf robustes Identitäts- und Zugriffsmanagement (IAM) für nicht-menschliche Entitäten verlagert werden. Organisationen benötigen granulare Sichtbarkeit und Kontrolle darüber, worauf KI-Agenten zugreifen können und welche Aktionen ihnen erlaubt sind. Den Umfragedaten zufolge erwägen bereits 87 Prozent der Organisationen einen IAM-Anbieterwechsel – Sicherheitsbedenken als Hauptmotivation.

Das Wettrennen läuft. Während Angreifer agentenbasierte KI weiter nutzen, um ihre Attacken zu skalieren und zu automatisieren, müssen Verteidiger eigene KI-gestützte Sicherheitsmaßnahmen einsetzen. Nur so lässt sich anomales Verhalten dieser neuen digitalen Belegschaft in Echtzeit überwachen, erkennen und darauf reagieren. Der Agent in der Maschine ist gekommen, um zu bleiben – und seine Absicherung zur kritischsten Cybersicherheitsherausforderung unserer Zeit geworden.

Anzeige

PS: Die EU‑KI‑Verordnung ist komplex, aber sie betrifft genau die Probleme dieses Artikels – automatisierte Agenten, Risikoklassen und Nachweispflichten. Unser gratis E‑Book fasst die wichtigsten Pflichten, Übergangsfristen und konkreten Umsetzungsschritte zusammen, inklusive klarer Zeitpläne für die Umsetzung und Mustervorlagen für die Dokumentation. Ideal für CTOs, Datenschutz‑ und Sicherheitsverantwortliche, die KI-Agenten rechtssicher betreiben wollen. Jetzt Umsetzungsleitfaden zur KI‑Verordnung downloaden