Sieben Thesen zum aktuellen AI-Safety-Diskurs: Es ist Zeit, die Debatte anders zu führen
Veröffentlicht am: 25.09.2026 um 10:15 Uhr | pressetext, AD HOC NEWS
Hagenberg/Wien - Wie wird aus Vertrauen in künstliche Intelligenz überprüfbare Sicherheit? Michael Weberberger, Geschäftsführer des KI-Dienstleisters TRUSTIFAI ( https://trustifai.at/ ) , dem Joint Venture von TÜV AUSTRIA ( https://www.tuvaustria.com/ ) und Software Competence Center Hagenberg ( https://www.scch.at/ ) , formuliert sieben Thesen zum aktuellen AI-Safety-Diskurs und plädiert für den Schritt von Governance und Compliance hin zu messbarer, wissenschaftlich fundierter AI Assurance.
AI Safety ist im Mainstream angekommen. Was vor wenigen Jahren noch als Spezialthema für Forschungsteams galt, ist heute eine strategische Frage für Unternehmen, Technologieanbieter, Kunden, Investoren und Regulatoren.
Die Debatten rund um die großen AI Labs zeigen: Je leistungsfähiger KI-Systeme werden, desto wichtiger wird die Frage, wie sich ihre Risiken systematisch erkennen, testen und beherrschen lassen.
Die Reaktionen darauf sind vielfältig. Technologieanbieter fordern mehr Oversight, Regulatoren schaffen neue Kontrollmechanismen und Unternehmen beschäftigen sich intensiver mit AI Governance und Assurance. Gleichzeitig droht die Debatte zwischen zwei Polen stecken zu bleiben: hier die Warnung vor immer größeren Risiken, dort die Sorge, Regulierung könnte Innovation bremsen.
Es ist Zeit, die Debatte anders zu führen.
1. AI Safety beginnt nicht erst an der technologischen Grenze
Die spektakulärsten Beispiele der aktuellen Safety-Debatte kommen von großen AI Labs. Doch wer daraus ein Spezialproblem der technologischen Spitzenforschung macht, greift zu kurz. AI Safety betrifft längst jedes Unternehmen, das KI einsetzt, egal ob es Modelle für spezifische Aufgaben optimiert, RAG-Systeme einsetzt, Agenten mit Tools verbindet oder KI in operative Prozesse integriert. AI Safety beginnt, sobald Modelle in KI-Systemen mit der realen Welt verbunden werden: mit Kundendaten, Produktionssystemen, Bestellprozessen, oder interner Software, mit anderen Tools oder mit Produktionsmaschinen und Robotik. Gerade leistungsfähigere Modelle werden zunehmend mit solchen Zugriffsmöglichkeiten ausgestattet und erhalten damit mehr Handlungsspielraum.
Es braucht also weder AGI noch Superintelligence für die Relevanz von AI Safety. Denn das tatsächliche Risiko wächst nicht primär mit der Leistungsfähigkeit eines Modells, sondern mit den Möglichkeiten, die einem System gegeben werden, auf seine Umwelt einzuwirken. Die AI-Safety-Debatte konzentriert sich derzeit stark auf Governance, Oversight und Frontier-Risiken. Für Unternehmen stellt sich jedoch eine praktischere Frage: Welche Risiken gehe ich im Unternehmen ein? Wie lässt sich die Sicherheit meines eigenen Einsatzes von KI-Systemen nachweisen?
AI Safety beginnt deshalb nicht an der vordersten technologischen Grenze. Sie beginnt dort, wo KI Entscheidungen beeinflusst oder Handlungen auslöst.
2. Nicht das Modell allein ist das Risiko, sondern das System
Die Safety-Debatte richtet ihren Blick häufig auf das KI-Modell. In der Unternehmenspraxis entsteht das tatsächliche Risikoprofil jedoch erst durch das Zusammenspiel des gesamten Systems: Modelle, System Prompts, Datenquellen, RAG-Komponenten, APIs, Tools, Berechtigungen, Policies, Softwarelogik und der konkrete Anwendungskontext.
Das bedeutet: Das Modell kann unverändert bleiben, während sich das Risiko des Gesamtsystems erheblich verändert.
Wer AI Safety ernst nimmt, darf deshalb nicht nur Modelle evaluieren. Entscheidend ist die Evaluation des gesamten AI-Systems.
3. Mehr Oversight bedeutet nicht automatisch mehr Sicherheit
Leistungsfähige KI braucht unabhängige Kontrolle. Doch eine Gleichung greift zu kurz: mehr Kontrolle gleich mehr Sicherheit.
Wenn Oversight hauptsächlich aus Dokumentation, Checklisten und formalen Freigaben besteht, kann ein System auf dem Papier bestens abgesichert erscheinen und technisch dennoch Schwächen aufweisen.
Zum anderen stößt auch menschliche Fähigkeit zur Wahrnehmung der Aufsicht schnell an Grenzen. Wenn KI-Systeme tausende oder Millionen Entscheidungen, Empfehlungen oder Aktionen erzeugen, lassen sich diese nicht wirksam einzeln überprüfen. Mit zunehmender Automatisierung wächst zudem das Risiko der Overconfidence und des Automation Bias: Menschen neigen dazu, automatisierten Ergebnissen zu vertrauen und sie seltener kritisch zu hinterfragen – gerade dann, wenn das System überwiegend zuverlässig erscheint.
Die entscheidende Frage lautet deshalb nicht nur, ob Kontrolle stattfindet, sondern wie wirksam sie ist und welche Evidenz daraus entsteht.
AI Safety darf nicht zum Sicherheitstheater werden. Sie braucht statistische Methoden, technische Prüfungen und wissenschaftlich belastbare Nachweise.
4. Compliance schafft Pflichterfüllung. Assurance schafft Gewissheit für die eigene Entscheidung
Regulierung schafft Regeln, Rollen, Verantwortlichkeiten und Mindestanforderungen. Das ist notwendig. Doch Compliance beantwortet in erster Linie eine Frage: Werden die vorgeschriebenen Anforderungen erfüllt?
Assurance stellt eine anspruchsvollere Frage: Lässt sich belastbar nachweisen, dass ein System auch unter realen Bedingungen zuverlässig, sicher und beherrschbar funktioniert?
Dafür braucht es Tests, Messungen, technische Evaluierungen und nachvollziehbare Evidenz. Gerade wenn nur wenige Testbeispiele zur Verfügung stehen, ist entscheidend, die statistische Aussagekraft der Ergebnisse zu berücksichtigen, bevor daraus belastbare Aussagen über das System abgeleitet werden.
Vertrauenswürdige KI entsteht nicht durch Versprechen. Sie entsteht durch die korrekte Integration von statistischen Tests und deren Signifikanz, also durch wissenschaftlich berechenbare, belastbare Nachweise.
5. KI lässt sich nicht einmal prüfen und dann abhaken
Klassische Prüfmodelle sind häufig auf relativ stabile Systeme ausgerichtet. KI-Systeme sind selten deterministisch und vor allem hochgradig dynamisch: Modelle ändern sich, Prompts werden angepasst, Datenquellen wachsen, APIs kommen hinzu, Agenten erhalten neue Tools und Geschäftsprozesse entwickeln sich weiter.
Ein Assessment ist daher immer eine Momentaufnahme eines konkreten Systemzustands. Ein einzelnes Assessment ist deshalb immer eine Momentaufnahme eines konkreten Systemzustands und Anwendungskontexts. AI Assurance ist daher kein einmaliger Prüfakt, sondern ein kontinuierlicher Prozess, der relevante Veränderungen erkennen und neu bewerten muss.
Die Konsequenz: AI Assurance muss kontinuierlich gedacht werden.
Dazu können Re-Testing, automatisiertes Monitoring, Change Detection und stärker eingebettete Formen unabhängiger Evaluation gehören. Nicht jede kleine Änderung verlangt eine neue Zertifizierung. Entscheidend ist, erkennen und beurteilen zu können, wann sich das Risikoprofil wesentlich verändert.
6. KI wird KI prüfen. Doch wer prüft den Prüfer?
Mit der Skalierung von KI stößt rein menschliche Überwachung schnell an Grenzen. Millionen automatisierter Entscheidungen, Agentenaktionen oder Modellinteraktionen lassen sich nicht manuell kontrollieren. Technische Monitoring-Systeme und KI werden daher selbst einen wesentlichen Teil der Überwachung übernehmen.
Damit entsteht allerdings eine zweite Ebene der Vertrauensfrage: Wie zuverlässig ist das System, das die KI kontrolliert?
Ein Monitoring-System, dessen Leistungsfähigkeit statistisch nicht zu verstehen ist, schafft lediglich eine weitere Unsicherheitsebene.
Es braucht deshalb messbare Fehlerraten und belastbare Aussagen darüber, welche Risiken mit welcher Zuverlässigkeit erkannt oder übersehen werden. Sonst wird eine Black Box nur durch die nächste ersetzt.
7. Sicherheit darf nicht zum Privileg großer Unternehmen werden
Eine berechtigte Sorge im aktuellen Diskurs lautet: Was passiert, wenn immer komplexere Safety- und Compliance-Anforderungen selbst zur Markteintrittsbarriere werden? Wenn nur große Unternehmen die dafür notwendigen Strukturen finanzieren können, wäre für sichere und innovative KI wenig gewonnen.
Gute AI Assurance muss deshalb verhältnismäßig sein: risikobasiert, capability-basiert und anwendungsnah.
Ein internes Assistenzsystem braucht eine andere Prüftiefe als ein autonomer Agent mit Zugriff auf kritische Systeme.
Das Ziel kann daher nicht maximale technische Bürokratie sein. Das Ziel muss maximale Aussagekraft über reale Risiken sein.
Was folgt daraus?
Der aktuelle AI-Safety-Diskurs ist wichtig, sollte jedoch nicht auf die Frage reduziert werden, ob es mehr oder weniger Regulierung braucht.
Die entscheidende Frage lautet: Was macht Sicherheit überprüfbar?
Genau dort liegt die nächste Entwicklungsstufe: von Governance zu Evidenz, von Compliance zu Assurance, von punktuellen Prüfungen zu kontinuierlicher Absicherung und von abstraktem Vertrauen zu belastbaren Nachweisen.
TRUSTIFAI ( https://trustifai.at/ )unterstützt Unternehmen dabei, KI sicher, vertrauenswürdig und nachweisbar zu entwickeln, einzusetzen und zu betreiben – von AI Governance und Readiness über die Bewertung konkreter KI-Systeme bis zur Vorbereitung auf Prüfung und Zertifizierung. trustifai.at ( https://trustifai.at/ )
(Ende)
Aussender: TRUSTIFAI GmbH Ansprechpartner: Michael Weberberger Tel.: +43 664 60 45 46 593 E-Mail: michael.weberberger@trustifai.at Website: www.trustifai.at
