OpenAI und Anthropic vor der UN: Chefs warnen vor unkontrollierter KI
Veröffentlicht am: 24.09.2026 um 03:01 Uhr | Redaktion boerse-global.de
Die Spitzen der führenden Technologieunternehmen OpenAI und Anthropic sind vor dem Sicherheitsrat der Vereinten Nationen aufgetreten und haben eindringlich vor den Risiken einer unkontrollierten Weiterentwicklung künstlicher Intelligenz gewarnt.
In ihren Ausführungen am Rande der Generalversammlung in New York betonten OpenAI-Chef Sam Altman und Anthropic-Chef Dario Amodei, dass sowohl der drohende Kontrollverlust über künftige Systeme als auch eine ungleiche Machtkonzentration weltweit gravierende Gefahren bergen. Amodei kündigte zudem an, dass sein Unternehmen bereit sei, Entwicklungszyklen im Zweifel zu verlangsamen, um Sicherheitsrisiken zu minimieren.
Historische Debatte über den Kontrollverlust
Die Sitzung des 15-köpfigen UN-Gremiums, die unter der Leitung des französischen Außenministers Jean-Noël Barrot stattfand, widmete sich erstmals ausschließlich dem Szenario, was geschieht, wenn der Mensch die Kontrolle über die von ihm geschaffene Technologie einbüßt.
Neben Altman und Amodei sprachen auch Clement Delangue von Hugging Face sowie Yoshua Bengio, Co-Vorsitzender des 2025 von der Generalversammlung ins Leben gerufenen wissenschaftlichen UN-Panels für künstliche Intelligenz.
Altman betonte vor den Vertretern des Sicherheitsrats, dass die gegenwärtige Phase extreme Vorsicht erfordere, da sich der technologische Fortschritt in einem rasanten Tempo beschleunigen könne.
Die Branche dürfe nicht das Eingehen übermäßiger Risiken akzeptieren, nur weil die möglichen Vorteile von enormer Bedeutung seien. Er plädiere für einen Mittelweg zwischen blindem Optimismus und fatalistischer Untergangsstimmung. Der Mensch habe nun die Wahl, ob diese Technologie eine Renaissance der Entdeckungen oder einen zerstörerischen Umbruch einleite.
Wer sich mit der rasanten Entwicklung und den rechtlichen Leitplanken von KI-Systemen befasst, benötigt einen klaren Überblick über die geltenden Regeln. Dieser kostenlose Leitfaden erklärt Ihnen die wichtigsten Fristen und Pflichten der EU-KI-Verordnung kompakt und verständlich. EU AI Act in 5 Schritten verstehen
Als zentrale Risiken nannte der OpenAI-Chef die Möglichkeit, dass künftige Systeme zu schnell agieren, sodass menschliches Eingreifen unmöglich werde, sowie eine gefährliche Machtkonzentration. Weder eine einzelne Person noch ein Unternehmen oder Staat dürfe mächtige Modelle nutzen, um der Welt die eigene Ideologie aufzuzwingen.
Folgenschwere Entscheidungen dürften nicht in Laboren in San Francisco fallen, sondern müssten durch demokratische Regierungen und internationale Zusammenarbeit getroffen werden. Selbst ein rechnerisches Katastrophenrisiko von 10 Prozent, 1 Prozent, 12 Prozent oder 0,1 Prozent sei keinesfalls akzeptabel. Altman warnte zudem vor den Gefahren einer rekursiven Selbstverbesserung durch KI-Modelle.
Forderung nach Verifikationssystemen und Verboten
Anthropic-Chef Amodei erklärte, dass ein schlechtes Krisenmanagement bei hochentwickelten Systemen die gesamte Menschheit gefährden könne. Ein Zustand hochgradig intelligenter Netzwerke in Rechenzentren sei bereits binnen ein bis zwei Jahren denkbar. Vor diesem Hintergrund versprach Amodei, die Einführung künftiger Modelle so weit wie nötig zu verzögern, um lückenlose Sicherheitsnachweise zu gewährleisten.
Konkret forderte Amodei ein internationales Verbot von KI-gestützten Biowaffen, die Etablierung verbindlicher Test- und Verifikationssysteme sowie ein weltweites Meldesystem für Vorfälle. Auch unabhängige Sicherheitsbewertungen und völkerrechtliche Vereinbarungen seien erforderlich, um gefährliche Fähigkeiten vor einer Markteinführung verlässlich zu identifizieren.
Während die internationale Gemeinschaft über globale Risiken debattiert, müssen Unternehmen bereits heute konkrete Anforderungen an Risikoklassen und Dokumentationen erfüllen. Erfahren Sie in diesem kostenlosen Report, welche KI-Systeme als Hochrisiko gelten und wie Sie die Compliance in Ihrem Betrieb sicherstellen. Kostenlosen Umsetzungsleitfaden zum AI Act herunterladen
Hugging-Face-Chef Delangue machte sich in der Sitzung hingegen für frei zugängliche Quellcodes stark und erklärte, die Weltgemeinschaft benötige Open-Source-Ansätze. Der Forscher Bengio wies die Darstellung von US-Präsident Donald Trump zurück, der Bedenken gegen KI zuvor als Täuschung abgetan hatte.
Bengio hob die Bedeutung einer initiative von 22 Staaten hervor, die eine strikt menschliche Kontrolle verlangten, und stufte eine unregulierte rekursive Selbstverbesserung der Systeme als Rezept für eine Selbstauslöschung ein.
