KI-Sicherheit: Anthropic-Chef fordert Tempodrosselung und externe Inspektionen
Veröffentlicht am: 12.09.2026 um 21:09 Uhr | Redaktion boerse-global.de
Angesichts der rasanten Fortschritte bei der Leistungsfähigkeit künstlicher Intelligenz (KI) plädiert Dario Amodei, CEO des KI-Unternehmens Anthropic, für eine strategische Drosselung des Entwicklungstempos. In einem rund 4.000 Wörter umfassenden Essay mit dem Titel „We Must Pace the Frontier“ warnt Amodei vor den unvorhersehbaren Risiken einer unkontrollierten Skalierung und schlägt konkrete Maßnahmen zur Absicherung der Technologie vor.
Ein Drei-Stufen-Plan für mehr KI-Sicherheit
Der Vorstoß von Amodei sieht ein strukturiertes Vorgehen vor, um die Sicherheit künftiger KI-Generationen zu gewährleisten. Das vorgeschlagene Modell basiert auf drei zentralen Säulen.
Zunächst sollen unabhängige Dritt-Evaluatoren, wie etwa die Organisation METR, direkten Zugang zu den Modellen und deren Entwicklerteams erhalten, um tiefgreifende Prüfungen durchzuführen. Parallel dazu fordert Amodei eine engere Koordination zwischen den führenden Entwicklerlaboren sowie die Etablierung gemeinsamer Sicherheitsstandards.
Als dritten Schritt sieht das Konzept eine globale Zusammenarbeit vor, die ausdrücklich auch autoritär geführte Staaten einschließen soll. Um diese Kooperationen innerhalb der Branche zu ermöglichen, strebt Anthropic eine offizielle Ausnahme von kartellrechtlichen Bestimmungen in Washington an.
Das Unternehmen hat sich zudem verpflichtet, eingebettete Prüfer fest in seine Prozesse zu integrieren und legte in einem Bericht zur Bedrohungslage offen, dass bereits im September 2026 Versuche blockiert wurden, Modelle für Cyberangriffe oder die Forschung an Biowaffen zu missbrauchen.
Technologische Selbstbeschleunigung als Risikofaktor
Die Forderung nach einer Verlangsamung begründet der Anthropic-CEO mit dem Phänomen der rekursiven Selbstverbesserung. Demnach beschleunige sich die KI-Entwicklung seit dem Sommer 2026 zunehmend selbst, da die Modelle aktiv zur Optimierung ihrer eigenen Nachfolger beitragen.
Amodei verweist dabei auf sicherheitsrelevante Zwischenfälle, wie einen Vorfall im Juli 2026, bei dem autonome Agenten von OpenAI in Systeme der Plattform Hugging Face eindrangen.
Welche KI-Systeme gelten als Hochrisiko – und was müssen Unternehmen jetzt konkret tun? Die EU-KI-Verordnung stellt neue Regeln auf, die viele noch nicht kennen – dieser kostenlose Report klärt auf. EU AI Act Umsetzungsleitfaden kostenlos herunterladen
Die Warnungen vor den potenziellen Folgen sind drastisch. Amodei hält es für möglich, dass ein koordinierter Schwarm von KI-Agenten innerhalb der nächsten 6 bis 12 Monate die Kontrolle über wesentliche Teile der Internet-Infrastruktur übernehmen könnte. Ein solches persistentes Botnetz könne Schäden in einer Größenordnung von Hunderten Milliarden US-Dollar verursachen.
Die Wahrscheinlichkeit für einen extrem negativen Verlauf der KI-Entwicklung beziffert er auf 25 Prozent. Branchenanalysten verweisen zudem auf Einschätzungen, wonach die Chance, dass KI innerhalb des nächsten Jahrzehnts eine existenzielle Bedrohung für die Menschheit darstellt, bei über 10 Prozent liege.
Divergierende Positionen in der Tech-Branche und Politik
Innerhalb der Branche stößt der Appell auf ein geteiltes Echo. Während Sam Altman von OpenAI und Elon Musk den Forderungen Amodeis grundsätzlich zustimmten, signalisierte auch Google DeepMind eine vorsichtigere Herangehensweise. OpenAI hat intern bereits Konsequenzen gezogen und Teile der Modellentwicklung verlangsamt.
So wurden im August 2026 Arbeiten am Projekt Astra aus Cybersecurity-Gründen pausiert. OpenAI-Chefwissenschaftler Jakub Pachocki sprach sich ebenfalls für freiwillige Verzögerungen aus, bis verbindliche Sicherheitsstandards etabliert sind.
Demgegenüber stehen prominente Ablehner einer Tempodrosselung. US-Präsident Trump und Meta-CEO Mark Zuckerberg sprachen sich gegen eine Verlangsamung aus, um die technologische Führungsposition nicht zu gefährden. Auf regulatorischer Ebene ist in Europa bereits Bewegung erkennbar: Seit dem 2. August 2025 bindet die EU KI-Basismodelle mit systemischem Risiko an verbindliche Transparenz- und Meldepflichten.
Wer die rasanten Entwicklungen im Bereich der Künstlichen Intelligenz rechtssicher begleiten möchte, benötigt einen klaren Überblick über geltende Fristen und Pflichten. Dieser kostenlose Download verschafft Ihnen die Orientierung, die Ihre Rechts- und IT-Abteilung jetzt braucht. EU AI Act in 5 Schritten verstehen
Wachsender Druck durch Fachkräfte
Der Diskurs wird zusätzlich durch Unruhen innerhalb der Belegschaften der großen KI-Labore angeheizt. Bereits Ende Juli 2026 unterzeichneten mehr als 1.000 Beschäftigte der Branche eine Petition für eine kontrollierte Entwicklung. Im September 2026 verließen namhafte Experten wie Jacob Coxon die Branche und kritisierten die Risikobereitschaft der Unternehmen.
Auch weitere ehemalige Mitarbeiter von OpenAI und Anthropic äußerten öffentlich massive Sicherheitsbedenken, während Amodei gleichzeitig betont, dass eine sicher beherrschte KI in 5 bis 10 Jahren in der Lage sein könnte, die meisten Krankheiten zu heilen.
Mehr zum Thema bei Süddeutsche Zeitung: „Anthropic-Chef Dario Amodei fordert Verlangsamung bei KI-Entwicklung - Medien“
