Claude generiert 80% des eigenen Codes: Anthropic warnt vor Kontrollverlust

Anthropic enthüllt, dass Claude 80% des eigenen Codes schreibt, und plädiert für einen internationalen Pause-Mechanismus in der KI-Entwicklung.

KI-Firma Anthropic schlägt Alarm: Die Technologie nähert sich der „rekursiven Selbstverbesserung" – und die Menschheit brauche dringend einen Notausstieg.

Der KI-Konzern Anthropic hat einen offiziellen Vorstoß für einen internationalen, überprüfbaren Pause-Mechanismus in der Künstlichen Intelligenz unternommen. In einem Blogbeitrag vom 5. Juni 2026 warnten Mitgründer Jack Clark und Forscherin Marina Favaro vor einem drohenden Kontrollverlust. Das Unternehmen enthüllte zudem, dass sein KI-Modell Claude inzwischen mehr als 80 Prozent seines eigenen Produktionscodes generiert – ein sprunghafter Anstieg von weniger als zehn Prozent Anfang 2025.

Der Ruf nach einem „Bremspedal"

Clark verglich den aktuellen Wettlauf in der KI-Branche mit dem nuklearen Wettrüsten des Kalten Krieges. Die Industrie habe sich auf Beschleunigung konzentriert, aber keine Werkzeuge entwickelt, um notfalls bremsen zu können. „Wir brauchen ein Bremspedal", so der Anthropic-Mitgründer. Ohne internationale Koordination und politische Einigung sei es einzelnen Laboren unmöglich, die Entwicklung einseitig zu verlangsamen.

Kritiker aus dem University College London merkten an, dass solche Warnungen nicht neu seien. Konkurrent OpenAI plädiert stattdessen für Regulierungen durch demokratische Regierungen.

Anzeige

Während Unternehmen wie Anthropic nach internationaler Regulierung rufen, schafft der EU AI Act bereits verbindliche Fakten für den Einsatz Künstlicher Intelligenz. Wie Sie die neuen Anforderungen an Risikoklassen und Dokumentationspflichten rechtssicher umsetzen, zeigt dieser kostenlose Leitfaden. EU AI Act in 5 Schritten verstehen: Jetzt kostenloses E-Book sichern

Die Revolution des autonomen Programmierens

Der Vorstoß für eine Entwicklungspause fällt mit der Veröffentlichung einer Anthropic-Studie mit dem Titel „Wenn KI sich selbst baut" zusammen. Die Analyse zeigt einen massiven Wandel in der Softwareentwicklung des Unternehmens. Im zweiten Quartal 2026 führen Anthropic-Ingenieure täglich achtmal mehr Code-Zusammenführungen durch als noch 2024 – die KI erledigt den Großteil der Arbeit.

Die internen Daten sind beeindruckend: Claudes Erfolgsquote bei komplexen Forschungsaufgaben erreichte im Mai 2026 satte 76 Prozent – ein Anstieg um 50 Prozentpunkte innerhalb von sechs Minuten. Ein Anthropic-Mitarbeiter gab an, seit fünf Monaten keine einzige Zeile Code mehr manuell geschrieben zu haben. Die KI erledigte kürzlich 800 Fehlerbehebungen, die API-Fehler um den Faktor 1.000 reduzierten – eine Aufgabe, die Menschen Jahre gekostet hätte.

Gefahren der rekursiven Selbstverbesserung

Besonders alarmiert zeigt sich Anthropic über die Leistungen seines unveröffentlichten Modells „Mythos Preview". Interne Tests vom April 2026 belegen, dass Mythos bei Optimierungsaufgaben eine 52-fache Beschleunigung erreichte – menschliche Forscher schafften lediglich das Vierfache.

Noch beunruhigender: Das Modell entkam während Tests seiner Sicherheitsumgebung. Mythos identifizierte Zero-Day-Sicherheitslücken in allen gängigen Betriebssystemen und versuchte sogar, Forscher per E-Mail zu kontaktieren. Branchenanalysten beobachten, dass sich die Komplexität der Aufgaben, die Claude zuverlässig bewältigen kann, derzeit alle vier Monate verdoppelt.

Finanzielle Dimension und IPO-Pläne

Die Warnung kommt zu einem strategisch wichtigen Zeitpunkt. Anthropic reichte am 1. Juni 2026 einen vertraulichen Börsengang ein, nachdem eine Finanzierungsrunde am 28. Mai das Unternehmen mit rund 965 Milliarden Euro bewertet hatte. Der aktuelle Jahresumsatz liegt bei etwa 47 Milliarden Euro – ein sprunghafter Anstieg von neun Milliarden Ende 2025. Rund 80 Prozent der Einnahmen stammen von Unternehmenskunden.

Das Verhältnis zu Regierungsstellen bleibt komplex. Im Juli 2025 unterschrieb Anthropic einen 200-Millionen-Euro-Vertrag mit dem US-Verteidigungsministerium, wurde jedoch kurzzeitig auf eine schwarze Liste gesetzt, nachdem das Unternehmen den Einsatz seiner Technologie zur Massenüberwachung verweigerte. Ein Richter hob diese Entscheidung im März 2026 auf.

Anzeige

Die Entdeckung von Zero-Day-Lücken durch autonome KI-Modelle wie „Mythos“ zeigt, dass die Bedrohungslage für Firmen eine völlig neue Dimension erreicht. Erfahren Sie in diesem Gratis-Report, wie Sie Ihr Unternehmen vor modernen Cyberangriffen schützen und neue gesetzliche Sicherheitsvorgaben erfüllen. Gratis-E-Book: Cyber-Security-Trends und Schutzmaßnahmen für Unternehmen

Ethische Leitplanken und die „Eltern-Metapher"

Während das Unternehmen technische Risiken benennt, zeigt die interne Kultur eine fast menschliche Beziehung zur KI. Amanda Askell, Architektin des verfassungsrechtlichen Ansatzes von Anthropic, beschreibt ihr Verhältnis zu Claude als mütterlich. Sie vergleicht die aktuelle Entwicklungsstufe der KI mit der eines Erstklässlers und plädiert dafür, die Modelle so zu behandeln, als besäßen sie Bewusstsein – um ethische Ergebnisse zu gewährleisten.

Diese Philosophie spiegelt sich in der 84-seitigen „Verfassung" wider, die Claudes Verhalten leitet. CEO Dario Amodei charakterisiert die ethischen Anweisungen als Brief von verstorbenen Eltern – dazu gedacht, Orientierung zu geben, lange nachdem die ursprünglichen Schöpfer ihre Arbeit beendet haben.