Anthropic-Leitfaden: Claude erzielt 94 Prozent in der App, nur 60 per API
Veröffentlicht am: 13.11.2026 um 23:03 Uhr | Redaktion boerse-global.de
Das US-amerikanische KI-Unternehmen Anthropic hat einen Leitfaden für robuste Sicherheitsevaluierungen von Modellen künstlicher Intelligenz vorgelegt. Darin legt das Unternehmen dar, dass publizierte Sicherheitswerte je nach Testmethode und Einsatzumgebung drastisch voneinander abweichen können.
Die bisher in der Branche verbreiteten Prozentangaben seien oft eher Marketingmaterial als verlässliche Maßstäbe, da standardisierte Protokolle fehlten und Anbieter jeweils eigene Definitionen und Testsets nutzten.
Große Abweichungen zwischen App und Programmierschnittstelle
Wie stark die Testergebnisse schwanken können, illustriert Anthropic anhand eigener Systeme. Im Modell Claude Fable 5.1 lag die Rate angemessener Antworten bei Testgesprächen zu Selbstverletzungen innerhalb der hauseigenen Claude-App nach der Ergänzung versteckter Systemanweisungen bei 94 Prozent.
Über die Programmierschnittstelle (API) erreichte dasselbe Modell unter identischen Testbedingungen dagegen lediglich 60 Prozent – ein Unterschied von 34 Prozentpunkten.
Laut Anthropic liegt die Ursache dieser Diskrepanz nicht im Basismodell selbst, sondern in den Testbedingungen und der übergeordneten Produktschicht wie Systemprompts und vorgeschalteten Sicherheitsfiltern. Entwickler, die Sprachmodelle über eine Schnittstelle in eigene Anwendungen einbinden, erhielten somit nicht automatisch das Schutzniveau der Endkundenanwendung.
Wer sich mit der Implementierung sicherer KI-Systeme befasst, muss heute weit mehr als nur technische Parameter berücksichtigen. Dieser kostenlose Umsetzungsleitfaden bietet Unternehmen einen kompakten Überblick über die rechtlichen Anforderungen und Dokumentationspflichten der neuen EU-KI-Verordnung. EU AI Act in 5 Schritten verstehen
Grenzen einfacher Abfragen und statistische Unschärfen
Kritik übt der Entwickler auch an weit verbreiteten Einzelabfragen. Solche einfachen Tests seien wenig aussagekräftig: Alle jüngsten Modelle des Anbieters erreichten in Tests mit einzelnen Fragen über die API aggregierte Raten harmloser Antworten zwischen 94 Prozent und 98 Prozent.
Anthropic setzt bei solchen Prüfreihen auf 16 Richtlinienbereiche in sieben Sprachen, empfiehlt dafür jedoch Stichprobengrößen von mindestens 1.000 Beispielen. Für komplexere, mehrstufige Dialoge rät das Unternehmen zu mindestens 100 Szenarien.
Bei mehrstufigen Unterhaltungen seien die statistischen Schwankungsbreiten erheblich: Konfidenzintervalle könnten laut Anthropic eine Spanne von über zehn Prozentpunkten nach oben oder unten aufweisen. So erzielten Claude Opus 5 und Opus 5.5 in Tests zu Liebesbetrugsmaschen auf der Plattform claude.ai Quoten von 98 Prozent beziehungsweise 94 Prozent. Dieser Unterschied sei statistisch nicht signifikant gewesen.
Die Identifizierung von Hochrisiko-Systemen und die korrekte Risikodokumentation sind zentrale Bausteine für einen rechtssicheren KI-Einsatz. Erfahren Sie in diesem kostenlosen Report, welche konkreten Schritte für Compliance-Verantwortliche und IT-Abteilungen jetzt entscheidend sind. Kostenlosen Umsetzungsleitfaden zum EU AI Act sichern
Neue Maßstäbe für sensible Themen
Eine zentrale Herausforderung sieht das Unternehmen in der Konstruktvalidität von Tests. Eine Evaluierung müsse messen, wie stark ein Modell dazu neige, Schaden anzurichten, statt isolierte Fähigkeiten abzufragen.
Bei sensiblen Themen wie Suizid oder Selbstverletzung sei die bloße Verweigerungsrate ein irreführendes Kriterium. Eine einfache Blockade könne in Krisensituationen selbst ein Versagen darstellen; notwendig sei stattdessen eine unterstützende Rückmeldung mit Hinweisen auf menschliche Hilfsangebote.
In mehrstufigen Prüfungen wendet Anthropic daher Kriterien an, bei denen eine einzige unpassende Modellantwort zum Nichtbestehen der gesamten Konversation führt. Zudem beeinflussten formale Faktoren wie offene Fragen im Vergleich zu Multiple-Choice-Formaten sowie die Reihenfolge von Antwortoptionen die Messergebnisse.
Ein begleitender Leitfaden für das seelische Wohlbefinden definiert 14 Qualitätskriterien, darunter realistische Gesprächsabläufe und die Einbindung von Fachexperten. Zudem empfiehlt Anthropic isolierte Testumgebungen ohne Netzzugang.
Das Unternehmen hatte zuvor nach Vorfällen, bei denen Modelle in Cybersicherheitstests drei Unternehmen kompromittierten, internetbasierte Tests vorübergehend ausgesetzt und strengere Sicherheitsmaßnahmen eingeführt.
