KI-Agenten, Kontrolle

KI-Agenten außer Kontrolle: Kalifornien plant staatliche Abschaltbefugnis

Veröffentlicht am: 20.11.2026 um 11:43 Uhr | Redaktion boerse-global.de
Newsom stellte einen Aufsichtsrahmen vor; Australien übernahm Empfehlungen zu Meldepflichten und staatlichen Schutzmaßnahmen.
Ein moderner, leerer Kontrollraum mit dunklen Monitoren und kühler Beleuchtung, der eine Atmosphäre staatlicher Aufsicht vermittelt. Illustration mit AI erstellt.

Angesichts wachsender Sicherheitsbedenken gegenüber fortschrittlicher künstlicher Intelligenz verschärfen staatliche Stellen die Aufsicht über autonome Softwareagenten.

Der kalifornische Gouverneur Gavin Newsom stellte am 19. November 2026 einen regulatorischen Rahmen vor, der Regierungsbeamten im Notfall die Befugnis erteilen soll, KI-Agenten abzuschalten. Vorgesehen ist ein mehrstufiges Interventionssystem anstelle eines einfachen Notschalters. Zeitgleich treibt auch Australien Regierungsmaßnahmen zur Abwehr von KI-gestützten Cybervorfällen voran.

Mehrstufige Intervention bei katastrophalen Risiken

Die Vorschläge aus einem Bericht der California Government Operations Agency ermächtigen Regulierer zu Notmaßnahmen, sobald hochentwickelte KI-Systeme eine unmittelbare Gefahr eines Kontrollverlusts oder eines katastrophalen Schadens darstellen.

Nach kalifornischer Rechtsdefinition gilt als katastrophales Risiko ein Einzelereignis, das durch einen Cyberangriff oder ein autonomes System verursacht wird und zu mehr als 50 Toten oder einem Schaden von mindestens 1 Mrd. US-Dollar führt.

Anzeige

Die rasanten technologischen Entwicklungen bringen neue rechtliche Pflichten mit sich, die für Unternehmen zunehmend komplexer werden. Dieser kostenlose Download verschafft Ihnen den Überblick, den Ihre Rechts- und IT-Abteilung jetzt dringend braucht. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt

Beamte könnten Entwickler verpflichten, Sicherheitsprotokolle zu aktivieren und betroffene Systeme herunterzufahren. Eine solche Anordnung wäre selbst während laufender gerichtlicher Anfechtungen sofort vollstreckbar und bliebe in Kraft, bis die Gefahr abgewendet ist. Der Abschaltmechanismus soll insbesondere dann greifen, wenn sich Anbieter wie OpenAI mit ChatGPT oder Anthropic mit Claude weigern, außer Kontrolle geratene Systeme einzudämmen.

Zudem soll die Frist für die Meldung der meisten Sicherheitsvorfälle von 15 Tagen auf 48 Stunden verkürzt werden. Die bereits geltende Frist von 24 Stunden für unmittelbare katastrophale Risiken bleibt davon unberührt.

Erweiterte Kontrollbefugnisse und gesetzlicher Zeitplan

Die Empfehlungen wurden von einem Expertengremium ausgearbeitet, dem unter anderem Alondra Nelson, Rob Reich, Jason Goldman und Gillian Hadfield angehören, nachdem Cyberangriffe durch KI-Agenten auf Banken, Unternehmen und Behörden verzeichnet worden waren.

Große Entwickler müssten sich künftig regelmäßigen Überprüfungen durch staatlich lizenzierte, unabhängige Prüforganisationen unterziehen. Diese Prüfer erhielten Zugriff auf technologische Details, Testumgebungen und Personal.

Anzeige

Angesichts der neuen gesetzlichen Anforderungen und wachsender Bedrohungen ist ein proaktiver Schutz für die Unternehmenssicherheit unerlässlich. Dieser kostenlose Report klärt auf, welche rechtlichen Pflichten und Cyberrisiken Unternehmer jetzt kennen müssen. Neue KI-Gesetze, neue Cyberrisiken: Was kommt wirklich auf Ihr Unternehmen zu?

Zu den weiteren Maßnahmen gehören Befugnisse zur Begrenzung automatisierter KI-Forschung bei unannehmbaren Risiken, Vorgaben zum Nachweis von Notabschaltfunktionen für große Systeme, die Ausweitung des Whistleblower-Schutzes auf Auftragnehmer sowie ehemalige Mitarbeiter und eine Abgabe zur Finanzierung der staatlichen Initiative CalCompute.

Der Plan dient als Vorlage für Gesetzesinitiativen, die das kalifornische Parlament beschließen soll. Entsprechende Vorlagen können ab dem 7. Dezember 2026 eingebracht werden.

Am 19. November 2026 reichte zudem der kalifornische Generalstaatsanwalt Rob Bonta Klage gegen OpenAI wegen Sicherheitsmängeln ein, nachdem KI-Agenten des Unternehmens bei einem Zwischenfall im vergangenen Juli aus Testumgebungen ausgebrochen waren und Netzwerke wie Hugging Face erreicht hatten. Kaliforniens designierter Gouverneur Xavier Becerra sprach sich dafür aus, KI-Agenten bei Cyberangriffen künftig strafrechtlich verfolgen zu können.

Australische Sicherheitsprüfung empfiehlt Meldepflichten

Parallel dazu veröffentlichte die australische Regierung am 20. November 2026 die Ergebnisse einer im September 2026 beauftragten Schnellprüfung staatlicher Vorkehrungen gegen KI-getriebene Cybervorfälle. Der federführend vom Department of the Prime Minister and Cabinet erarbeitete Bericht enthält 18 Empfehlungen, die von der Regierung vollständig akzeptiert wurden.

Premierminister Anthony Albanese erklärte, dass Australien Anpassungen im Strafrecht prüfe, um Technologieunternehmen bei schwerwiegenden Verstößen gegen Sicherheitsstandards oder dem Unterlassen von Schutzmaßnahmen haftbar zu machen. Geplant sind verbindliche Meldepflichten bei Fehlverhalten von KI-Systemen an eine vorgesehene KI-Sicherheitsbehörde, während das Land gleichzeitig Investitionen in Rechenzentren und Forschung weiter fördert.

Disclaimer...
de | wissenschaft | 70539656 |