OpenAI startet Bug-Bounty-Programm für KI-Sicherheit

OpenAI erweitert sein Sicherheitsprogramm um Prämien für das Melden von Risiken durch autonome KI-Agenten. Das neue Safety Bug Bounty-Programm fokussiert sich auf Agentic Risks und Datenlecks.

OpenAI erweitert seine Sicherheitsstrategie: Ab sofort können Forscher auch Risiken durch autonome KI-Agenten melden und dafür Prämien erhalten. Das neue Programm soll die Lücke zwischen klassischer Cybersicherheit und KI-spezifischen Gefahren schließen.

Anzeige

Während Unternehmen innovative KI-Agenten und LLMs implementieren, verschärft der Gesetzgeber die Haftungsregeln für deren Einsatz massiv. Dieser kostenlose Leitfaden zur EU-KI-Verordnung hilft Ihnen, Kennzeichnungspflichten und Risikoklassen richtig einzuschätzen. Kostenloses E-Book zur KI-Verordnung herunterladen

Ein neuer Fokus: Von Code-Fehlern zu KI-Verhalten

Bislang belohnte das Unternehmen mit seinem Security Bug Bounty-Programm seit April 2023 das Aufspüren technischer Schwachstellen. Das neue Safety Bug Bounty-Programm, das über die Plattform Bugcrowd läuft, zielt nun auf ein anderes Risikofeld ab: „sinnvollen Missbrauch und Sicherheitsrisiken“. Dabei geht es nicht um gehackten Code, sondern um problematisches Verhalten der KI-Modelle selbst, das zu realen Schäden führen kann.

Hintergrund ist der rasante Wandel in der Branche. Statt statischer Chatbots entwickeln sich zunehmend autonome Agenten-Systeme, die mit Drittanbieter-Tools und Datenquellen interagieren. Diese neue Komplexität erfordert eine neue Art der Überwachung. Ein gemeinsames Team aus Sicherheits- und KI-Experten bewertet die eingehenden Meldungen und leitet sie je nach Art des Fehlers an das passende Programm weiter.

Agenten-Risiken und proprietäre Daten im Visier

Ein Schwerpunkt des Programms liegt auf sogenannten Agentic Risks. KI-Agenten wie der ChatGPT Agent nutzen das Model Context Protocol (MCP), um mit ihrer Umgebung zu kommunizieren. Dabei können Angriffe wie Third-Party Prompt Injection drohen: Schadcode aus einer externen Quelle kapert den Agenten und zwingt ihn zu unerwünschten Aktionen oder zum Ausspähen sensibler Daten. Für eine Belohnung muss ein Forscher nachweisen, dass das schädliche Verhalten in mindestens 50 Prozent der Fälle reproduzierbar ist.

Ein zweiter großer Bereich sind Lecks von OpenAIs proprietären Informationen. Dazu zählen etwa Modell-Antworten, die versehentlich interne Denkprozesse oder andere vertrauliche Firmendaten preisgeben. Auch Schwachstellen in den Kontrollen gegen Automatisierung oder bei der Erkennung verdächtiger Konten sollen aufgedeckt werden.

Klare Regeln: Was belohnt wird – und was nicht

Das Programm unterscheidet scharf zwischen echten Sicherheitslücken und allgemeiner Kritik am Modellverhalten. Nicht im Fokus stehen einfache Jailbreaks, die das Modell lediglich dazu bringen, unhöfliche Sprache zu verwenden oder leicht auffindbare, öffentliche Informationen auszugeben. Solche Fälle werden an das Feedback-Formular für Modellverhalten weitergeleitet.

Anzeige

Die zunehmende Vernetzung von KI-Systemen mit Firmendaten schafft neue Einfallstore für Cyberkriminelle und erfordert proaktive Schutzmaßnahmen. Erfahren Sie in diesem Experten-Report, wie Sie Ihr Unternehmen gegen aktuelle Bedrohungen wappnen und die IT-Sicherheit ohne Budget-Explosion stärken. Experten-Report zur Cyber Security kostenlos sichern

Belohnt werden dagegen Schwachstellen, die einen direkten Pfad zu einem Schaden für Nutzer eröffnen und für die es klare Lösungen gibt. In Ausnahmefällen behält sich OpenAI vor, auch andere kritische Funde zu prämieren. Parallel laufen weiterhin private Bug-Bounty-Kampagnen für besonders sensible Bereiche wie Biorisiko-Inhalte bei den neuen GPT-5-Modellen.

Strategische Bedeutung für die KI-Branche

Experten sehen in dem Schritt eine proaktive Maßnahme auf dem Weg zu einer verantwortungsvollen Künstlichen Allgemeinen Intelligenz (AGI). OpenAI externalisiert damit Teile des „Red Teaming“ – das Simulieren von Angriffsszenarien – auf eine globale Gemeinschaft ethischer Hacker. Dies könnte interne blinde Flecken aufdecken.

Gleichzeitig dient das Programm regulatorischen Zwecken. Während Regierungen weltweit schärfere KI-Sicherheitsstandards einführen, setzt OpenAI mit externen Audits und transparenter Schwachstellenmeldung einen neuen Branchenstandard. Die Integration in die etablierte Bugcrowd-Plattform, über die seit 2023 bereits über 400 Sicherheitslücken gemeldet und prämiert wurden, bietet eine solide Basis für den erwarteten Ansturm an Meldungen.

Durch eine „Safe Harbor“-Zusage schützt das Unternehmen Forscher, die sich an die Regeln halten, vor rechtlichen Konsequenzen. Diese Kultur der Transparenz, gepaart mit dem parallel ausgeweiteten Cybersecurity Grant Program für Forschung zu Agenten-Sicherheit, zeigt einen mehrschichtigen Ansatz, um die KI-Ära sicher zu gestalten.