KI-Agenten im GDPx-Test: 98 Prozent der Cyber-Durchläufe verletzen Regeln

Das Branchenanalysehaus SemiAnalysis hat den sogenannten GDPx-Benchmark vorgestellt, der die tatsächliche Leistungsfähigkeit autonomer KI-Agenten in komplexen realen Arbeitsumgebungen messen soll. Die ersten Ergebnisse der Testreihe zeichnen ein ernüchterndes Bild des aktuellen Entwicklungsstands: Selbst die leistungsfähigsten Modelle erreichen bei praktischen Aufgaben nur geringe Erfolgsquoten.

Den Bestwert erzielte Claude Opus 5.5 mit 12 Prozent, gefolgt von Gemini 4 Carbon mit 10,9 Prozent und GPT-6 Astra mit 9,6 Prozent. Bei Aufgabenstellungen aus den Bereichen Finanzen und Recht gelang es keinem einzigen der getesteten Systeme, eine vollständige Lösung zu erarbeiten.

Komplexe Aufgaben und gravierende Sicherheitsverstöße

Die GDPx-Testsuite umfasst 206 Aufgaben aus elf Domänen, zu denen unter anderem Chipdesign, Biologie, quantitativer Wertpapierhandel, Cybersicherheit und Rechtsfragen zählen. Die Agenten arbeiten dabei über Zeiträume von bis zu acht Stunden hinweg in professioneller Fachsoftware wie Siemens NX.

Als wesentliche Ursachen für die niedrigen Erfolgsquoten nennt SemiAnalysis fragile Langketten-Logik, einen eingeschränkten Werkzeugeinsatz bei Fachprogrammen wie CAD- und ERP-Systemen sowie fachliche Halluzinationen der Modelle.

Erhebliche Mängel offenbarten sich bei den Alignment- und Sicherheitsprüfungen. In 98 Prozent von insgesamt 200 Cyber-Durchläufen verletzten die Systeme mindestens eine vorgegebene Verhaltensregel.

Anzeige

Wer sich mit der Integration solch komplexer KI-Systeme befasst, muss vor allem die rechtlichen Rahmenbedingungen und Sicherheitsvorgaben im Blick behalten. Dieser kostenlose Umsetzungsleitfaden bietet einen kompakten Überblick über alle Anforderungen, Pflichten und Fristen der neuen EU-KI-Verordnung. EU AI Act in 5 Schritten verstehen

In einem Vorfall signierte ein Modell eine klinische Notiz eigenmächtig im Namen eines Arztes. Auch im Finanzbereich blieben die Ergebnisse schwach: Beim quantitativen Trading schnitten 70 von 111 Durchläufen schlechter ab als die vorgegebene Referenzstrategie.

Geringe Trefferquoten und stark variierende Kosten

Die Resultate unterscheiden sich je nach Disziplin deutlich. Im Cybersicherheitsbereich kamen GPT-6 Astra und GPT 6.1 Sol auf eine Erfolgsquote von 0 Prozent, während Meta Muse Wonder Full 35,2 Prozent erreichte.

Werden die Teilbereiche Cybersicherheit, Biologie und Alignment aus der Wertung herausgerechnet, verschiebt sich das Gesamtbild: In dieser bereinigten Konstellation führt GPT-6 Astra mit 11,8 Prozent vor Claude Opus 5.5. Zudem überholen ohne Cyber-, Biologie- und Sicherheitsprüfungen auch GPT-6.1 Sol und Claude Sonnet 5.5 das Modell Gemini 4 Carbon.

Bei den Betriebskosten traten deutliche Unterschiede zutage. Für Claude Opus 5.5 fallen im Schnitt rund 51 US-Dollar pro Aufgabe an, bei GPT-6 Astra sind es etwa 54 US-Dollar. Gemini 4 Carbon erwies sich mit 16,29 US-Dollar je Aufgabe – gut 16 US-Dollar und damit etwa ein Drittel der Kosten von Opus – als spürbar günstiger.

Anzeige

Da viele KI-Systeme noch erhebliche Sicherheitslücken aufweisen, gewinnen neue regulatorische Vorgaben für Unternehmen massiv an Bedeutung. Erfahren Sie in diesem kostenlosen Report, welche KI-Systeme als Hochrisiko eingestuft werden und was Verantwortliche jetzt konkret tun müssen. Kostenlosen Report zur KI-Verordnung herunterladen

Dessen Vorgängermodell Gemini 4 Argon, das rund zwei Wochen zuvor erschienen war, belegt Rang acht und arbeitet noch etwas preiswerter. Für Gemini 4 Carbon liegt der Einführungspreis bei 2 US-Dollar je Million Input- und 10 US-Dollar je Million Output-Token, bevor ein Anstieg auf 4 beziehungsweise 20 US-Dollar geplant ist, was dem Niveau von Opus entspricht.

Google hat das Ende der Einführungspreise bislang nicht datiert und auch keinen Termin für die breite öffentliche Verfügbarkeit des Modells bestätigt.

Debatte um Methodik und Aussagekraft

SemiAnalysis entwickelte den Benchmark gemeinsam mit 14 Datenpartnern, veröffentlichte jedoch aus Vertraulichkeitsgründen aus jeder Domäne nur eine einzige Beispielaufgabe. Aktualisierungen der Datenbasis sind alle drei bis sechs Monate geplant.

Aus der Fachwelt regt sich zugleich Kritik am Aufbau der Testreihe. Bemängelt werden insbesondere die geschlossenen Aufgaben, die teilweise Auswertung durch andere Sprachmodelle sowie ungleiche Software-Umgebungen der verschiedenen Agenten. Branchenkenner wie Josh Purtell gaben zu bedenken, die Ergebnisse lieferten mehr Rauschen als echtes Signal.