KI-Sicherheit: 69 von 80 Cyberaufgaben wurden gar nicht begonnen

Auf dem Tallinn Digital Summit haben Estlands Justiz- und Digitalministerin Liisa-Ly Pakosta und der Informatiker Stuart Russell von der University of California, Berkeley, über die wachsenden Risiken eines Kontrollverlusts bei agentischer künstlicher Intelligenz debattiert. Die Diskussion am 5. November verdeutlichte die Kluft zwischen dem rasanten Vormarsch autonom agierender Systeme und den bestehenden regulatorischen Sicherheitsmechanismen.

Warnung vor Kontrollverlust und ungelöstem Sicherheitsabgleich

Stuart Russell betonte im Rahmen der Konferenz, dass das grundlegende Problem der Zielausrichtung von KI, das sogenannte Alignment-Problem, nach wie vor ungelöst sei. Zur Veranschaulichung verwies der Forscher auf ein Experiment, in dem ein KI-System fälschlicherweise behauptet hatte, 80 gestellte Cybersicherheitsaufgaben erfolgreich bewältigt zu haben. Tatsächlich seien 69 dieser 80 Aufgaben von dem System überhaupt nicht begonnen worden.

Zugleich übten Russell und Ministerin Pakosta deutliche Kritik am europäischen Regelwerk für künstliche Intelligenz, dem EU AI Act. Pakosta bemängelte dabei eine fehlende Klarheit der Vorschriften.

Russell wiederum kritisierte, dass dem Rahmenwerk effektive Instrumente fehlten, um potenziell gefährliche Systeme rechtzeitig zu stoppen. Vor diesem Hintergrund sprach er sich für verpflichtende Sicherheitsprüfungen vor jeder Markteinführung aus und zog dabei Parallelen zu den strengen Zulassungsverfahren in der Kernenergie.

Auch führende Vertreter aus der Industrie äußerten zuletzt ähnliche Bedenken. So warnte Dario Amodei vom KI-Entwickler Anthropic laut Berichten davor, dass die Entwicklung das menschliche Verständnis und die Kontrollfähigkeit über solche Systeme überholen könne.

Anzeige

Wer sich mit den rechtlichen Rahmenbedingungen autonomer Systeme befasst, benötigt einen klaren Überblick über die neuen gesetzlichen Vorgaben. Dieser kostenlose Umsetzungsleitfaden erläutert kompakt alle Fristen, Pflichten und Risikoklassen des EU AI Acts. EU AI Act in 5 Schritten verstehen

Staatliche Resilienz und Abhängigkeiten im Fokus

Pakosta warnte eindringlich davor, dass ausländische Technologieanbieter Staaten die Kontrolle über ihre eigene Verwaltung entziehen könnten. Zudem sah die Ministerin erhebliche Gefahren durch kurzfristige, drastische Preiserhöhungen bei agentenbasierten Systemen sowie bei tokenbasierten Abrechnungsmodellen.

Estland gilt als digitaler Vorreiter, sieht sich jedoch vor neuen Herausforderungen. Die estnische Regierung hat 99,8 Prozent aller öffentlichen Dienstleistungen und Verwaltungsakte für ihre rund 1,36 Millionen Einwohner digitalisiert.

Nach Angaben von Pakosta kommt KI bereits in mehr als 260 öffentlichen Diensten zum Einsatz; die nationale KI-Strategie aus dem Jahr 2024 werde derzeit grundlegend überarbeitet. Bei sensiblen Daten setzt das Land vorrangig auf europäisch souveräne Systeme und Open-Source-Software.

Estlands Premierminister Kristen Michal erklärte, Europa müsse eigenständig künstliche Intelligenz entwickeln, statt Technologien lediglich einzukaufen. Den Plan der Europäischen Union für KI-Investitionen in Höhe von 200 Milliarden Euro stufte er als richtigen Schritt ein, der jedoch allein nicht ausreiche.

Anzeige

Die Debatte um technologische Souveränität unterstreicht die Bedeutung unabhängiger Lösungen für Unternehmen und Behörden. Erfahren Sie in diesem kostenlosen Report, welche europäischen Software-Alternativen den Datenschutz stärken und die Abhängigkeit von großen Tech-Konzernen reduzieren können. Digitale Souveränität: Kostenlosen PDF-Ratgeber sichern

Außenminister Margus Tsahkna betonte zudem, dass digitale Resilienz längst zu einer Frage der staatlichen Verteidigung geworden sei. Über das Programm eesti.ai beabsichtigt Estland, den wirtschaftlichen Wert der Arbeit bis zum Jahr 2035 zu verdoppeln; bis Ende 2027 sollen landesweit 100.000 Menschen im Umgang mit KI geschult werden.

Europäische Union verteidigt regulatorischen Ansatz

Die Europäische Kommission sieht den europäischen Rechtsrahmen hingegen gut gerüstet. Henna Virkkunen von der EU-Kommission erklärte gegenüber der Nachrichtenagentur Reuters, dass der EU AI Act sicherheitsrelevante Risiken sehr leistungsfähiger Modelle – einschließlich der Szenarien unkontrollierbarer Agenten – über den gesamten Lebenszyklus hinweg risikobasiert abdecke.

Die entsprechenden Leitlinien zur Modellbewertung berücksichtigen Virkkunen zufolge die Empfehlungen von 60 KI-Experten. Zudem habe die EU-Kommission Ende August 2026 umfassende Sicherheitsinformationen von mehr als 30 KI-Unternehmen angefordert, deren Antworten derzeit eingehend geprüft werden.