KI-Training: Google, Microsoft, OpenAI und Anthropic setzen auf ein Robots.txt-Signal
Veröffentlicht am: 08.11.2026 um 19:35 Uhr | Redaktion boerse-global.de
Google, Microsoft, OpenAI und Anthropic haben sich darauf verständigt, künftig ein gemeinsames Signal in der Datei robots.txt als standardisierten Widerspruch gegen das Training von Modellen mit Künstlicher Intelligenz zu respektieren.
Über das sogenannte Policy-Token __usage_ai-training in der User-Agent-Zeile sollen Betreiber von Webseiten künftig pauschal festlegen können, dass ihre Inhalte nicht für das KI-Training verwendet werden dürfen. Bisher war es für Webmaster notwendig, für jeden Crawler der verschiedenen Unternehmen jeweils eine eigene Anweisung zu hinterlegen.
Entwurf von Anthropic und gestaffelte Zeitpläne
Der technische Vorschlag wurde von Kevin Kelley von Anthropic ausgearbeitet und liegt als individueller Entwurf bei der Internet Engineering Task Force (IETF) vor. Das Dokument stellt keinen formellen IETF-Standard dar, besitzt keine formale Gültigkeit und läuft am 3. Mai 2027 aus.
Die vier beteiligten Konzerne setzen das Signal zu unterschiedlichen Zeitpunkten um. Anthropic hat bereits mit der praktischen Umsetzung begonnen. OpenAI beabsichtigt, das Signal in den kommenden Monaten einzuführen, nannte dafür jedoch noch keinen konkreten Stichtag. Microsoft plant die Umsetzung ab dem 1. Februar 2027, während Google die Einführung im Laufe des Jahres 2027 anpeilt.
Technische Reichweite und Unterschiede beim Grounding
Das Signal steuert ausschließlich die Verwendung von Inhalten für Trainingszwecke und unterbindet nicht das Abrufen der Webseiten durch Webcrawler. Das Scraping bleibt standardmäßig gestattet, da es sich um ein Opt-out-Verfahren und nicht um ein vorheriges Genehmigungssystem handelt. Zudem greift die Regelung nicht rückwirkend für Daten, die bereits in der Vergangenheit erfasst wurden.
Die neuen Standards für KI-Crawler verdeutlichen, wie komplex die rechtlichen Anforderungen rund um den EU AI Act bereits heute sind. Dieser kostenlose Download verschafft Ihnen den Überblick über Fristen, Pflichten und Risikoklassen, den Ihre Rechts- und IT-Abteilung jetzt dringend braucht. EU AI Act in 5 Schritten verstehen
Beim sogenannten Grounding gehen Google und Microsoft getrennte Wege. Google behandelt ein Opt-out über das neue Token ohne gesonderte Angabe zu Google-Extended wie ein Verbot für Google-Extended, wodurch auch das Grounding für das Modell Gemini unterbunden wird.
Microsoft führt hingegen mit DisallowExtended eine separate Steuerung für das KI-Grounding auf Seitenebene ein. Dadurch lassen sich das Trainings-Opt-out und das Grounding-Opt-out bei Microsoft unabhängig voneinander konfigurieren, ohne dass die Auffindbarkeit in den regulären Bing-Suchergebnissen beeinträchtigt wird.
Beteiligung europäischer Verleger und rechtlicher Rahmen
Laut einem Bericht von asso.fr vom 8. November 2026 haben Verantwortliche mehrerer Medienhäuser und Verbände die Ausarbeitung begleitet, darunter die Financial Times, die BBC, Bertelsmann und der Europäische Verlegerrat. Den rechtlichen Bezugspunkt für das Opt-out bildet innerhalb der Europäischen Union der Artikel 4 Absatz 3 der Richtlinie (EU) 2019/790.
Während neue Standards das Training von Modellen regulieren, stellen KI-Systeme Unternehmen auch vor neue Compliance-Herausforderungen und Haftungsrisiken. Dieser kostenlose Report klärt auf, welche rechtlichen Regeln die EU-KI-Verordnung aufstellt und was Unternehmen jetzt konkret tun müssen. Kostenlosen Leitfaden zur KI-Verordnung sichern
Das Signal fungiert als freiwillige Bitte der Webseitenbetreiber ohne technische Sperrwirkung. Es existieren weder Kontrollinstanzen noch Sanktionen oder Regelungen für eine Vergütung von Inhalten, womit die Schutzwirkung vom guten Willen der jeweiligen Plattformen abhängt.
Unter den weiteren Branchenakteuren bezeichnete Andy Stone, Vice President bei Meta, die Initiative zwar als wichtigen Schritt, eine konkrete Zusage zur Umsetzung gab das Unternehmen jedoch nicht ab. Apple und Amazon sind an der Vereinbarung nicht beteiligt.
