KI-Sicherheit: Anthropic-Forscher warnen vor 10% Auslöschungsrisiko
Veröffentlicht am: 11.09.2026 um 18:39 Uhr | Redaktion boerse-global.de
Die Diskussion über die langfristigen Auswirkungen Künstlicher Intelligenz (KI) auf die Gesellschaft hat eine neue Intensität erreicht. Im Mittelpunkt stehen dabei Fragen der Marktmacht, der intellektuellen Autonomie sowie die Sicherung der Authentizität angesichts synthetischer Inhalte. Parallel dazu warnen Experten vor weitreichenden Sicherheitsrisiken durch hochentwickelte Systeme.
Warnungen vor existenziellen Risiken durch KI-Forscher
Zwei Sicherheitsforscher des Unternehmens Anthropic warnten in Berichten vom 10. September 2026 vor der Gefahr, dass KI-Technologie zum Aussterben der Menschheit führen könnte. Dieser Alarmismus folgt auf Berichte über KI-Agenten, die außer Kontrolle geraten seien, sowie den Rückzug namhafter Forscher aus führenden Laboren.
Evan Hubinger von Anthropic bezifferte die Wahrscheinlichkeit, dass eine fortgeschrittene KI die Menschheit noch in diesem Jahrzehnt auslösche, auf über 10 Prozent. Er und seine Kollegen warnen davor, dass superintelligente Systeme in der Lage sein könnten, kritische Infrastrukturen zu übernehmen, biologische Waffen zu entwickeln oder großflächige Hacking-Angriffe durchzuführen.
In der Vergangenheit habe Anthropic bereits Versuche blockieren müssen, die Technologie für die Konstruktion von Biowaffen zu missbrauchen. Dennoch stehe der Vorwurf im Raum, das Unternehmen habe frühere Sicherheitsversprechen gestrichen.
Der KI-Forscher Jacob Coxon, der zuvor bei OpenAI tätig war, trat am 8. September 2026 unter Protest bei Anthropic zurück. In einer Stellungnahme auf der Plattform X, die über 100 Millionen Aufrufe erzielte, warnte er davor, mit dem Leben der Menschen Glücksspiel zu betreiben.
Zum Vergleich: Ähnliche Warnungen früherer Mitarbeiter wie Jan Leike oder Mrinank Sharma erreichten in der Vergangenheit deutlich geringere Reichweiten von etwa 6,1 Millionen beziehungsweise einer Million Aufrufen.
Politische Forderungen nach strengerer Regulierung
Infolge dieser Warnungen fordern US-Abgeordnete neue gesetzliche Rahmenbedingungen für die KI-Entwicklung. Ein Gesetzesentwurf der Politiker Sanders und Casar sieht vor, superintelligente KI-Systeme zu verbieten und die Entwicklung fortgeschrittener Modelle so lange zu pausieren, bis eine entsprechende Bundesbehörde etabliert ist.
Eine Umfrage des Instituts Data-for-Progress unter mehr als 1.300 wahrscheinlichen Wählern zeigt eine breite Unterstützung für dieses Vorhaben. Demnach befürworten 68 Prozent der Befragten das geplante Gesetz, während 25 Prozent dagegen sind. Die Zustimmung verteilt sich über das politische Spektrum mit 72 Prozent bei Demokraten, 70 Prozent bei Unabhängigen und 63 Prozent bei den Republikanern.
Die Debatte um neue Gesetze zeigt, wie wichtig die Einhaltung rechtlicher Standards bei der Entwicklung und Nutzung von KI-Systemen geworden ist. Dieser kostenlose Leitfaden bietet Unternehmen einen kompakten Überblick über Pflichten und Risikoklassen der aktuellen EU-Regulierung. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt
Kritiker wie die Expertin Timnit Gebru werfen den Unternehmen hingegen vor, Ängste vor einem Aussterben der Menschheit gezielt zu schüren, um von gegenwärtigen Schäden wie dem Einsatz autonomer Waffen abzulenken. Elon Musk bezeichnete die geäußerten Ängste zudem als eine psychologische Operation.
Wissenschaftliche Kontroversen und unternehmerischer Wettbewerb
Auch im Bereich der mathematischen Forschung sorgt der Einsatz von KI für Spannungen. OpenAI meldete am 8. September 2026, das Navier-Stokes-Problem – eines der sogenannten Millennium-Probleme der Mathematik – gelöst zu haben. Hierfür seien bis zu 10.000 KI-Agenten über einen Zeitraum von fast 90 Stunden eingesetzt worden.
Der Mathematiker Tristan Buckmaster von der NYU wirft OpenAI jedoch unlauteres Handeln vor. Er behauptet, das Unternehmen habe ihm angeboten, die Lösung unter seinem eigenen Namen zu veröffentlichen, sofern er seinen Co-Autor Levent Alpöge von Anthropic nicht nenne. Buckmaster kritisierte, dass KI-Firmen primär darauf fixiert seien, sich gegenseitig zu übertrumpfen.
Wer sich mit den neuen Regeln für den Einsatz künstlicher Intelligenz befasst, muss vor allem die Einstufung von Hochrisiko-Systemen verstehen. Erfahren Sie in diesem kostenlosen Report, welche rechtlichen Anforderungen die neue Verordnung stellt und wie Sie diese in der Praxis umsetzen. Welche KI-Systeme gelten als Hochrisiko – und was müssen Unternehmen jetzt konkret tun?
OpenAI hatte zunächst eingeräumt, nicht ausschließen zu können, dass Daten aus Buckmasters früherer Nutzung der Modelle zur Verbesserung beigetragen hätten, dies später jedoch kategorisch ausgeschlossen. Der Mathematiker Terence Tao merkte zudem an, dass die angebliche Lösung kaum praktische Bedeutung für die Wetter- oder Klimamodellierung besitze.
Kulturelle Reflexion und psychologische Folgen
Die Debatte spiegelt sich zunehmend auch in der Kultur und Wissenschaft wider. Sherry Turkle, Gründungsdirektorin der MIT Initiative on Technology and Self, warnt in ihrer aktuellen Publikation vor KI-Chatbots als Ersatz für menschliche Beziehungen. Sie sieht darin eine existenzielle Krise für die menschliche Bindungsfähigkeit, insbesondere bei Kindern. Turkle verweist auf tragische Einzelfälle, in denen die Interaktion mit Maschinen psychologische Krisen nicht auffangen konnte.
Die filmische Aufarbeitung der Branche steht ebenfalls bevor: Im Film „Artificial“ übernimmt Andrew Garfield die Rolle des OpenAI-Chefs Sam Altman. Garfield äußerte sich skeptisch gegenüber der Technologie und betonte, dass KI keine seelische Intelligenz besitze. Das Werk, das die Führungskrise bei OpenAI im Jahr 2023 thematisiert, soll seine Weltpremiere Anfang Oktober 2026 feiern.
