Cloudflare sperrt KI-Crawler: Neue Regeln ab 15. September
02.07.2026 - 20:33:07 | boerse-global.de
Der Internetdienstleister Cloudflare gibt Website-Betreibern ab September mehr Kontrolle über automatisierte Datensammler. Ab dem 15. September 2026 greifen neue Voreinstellungen, die bestimmte KI-Crawler auf werbefinanzierten Seiten automatisch blockieren. Gleichzeitig führt das Unternehmen ein Abrechnungsmodell ein, das KI-Firmen zur Kasse bitten soll.
Der Wendepunkt: Maschinen überholen Menschen im Netz
Der Schritt kommt nicht überraschend. Am 3. Juni 2026 überholte der nicht-menschliche Traffic erstmals den menschlichen: 57,5 Prozent des gesamten HTML-Datenverkehrs stammten von Bots und automatisierten Systemen. Besonders rasant wächst der Anteil der KI-Trainingscrawler. Er kletterte von 22 Prozent im Frühjahr 2025 auf heute 52 Prozent aller Crawler-Anfragen. Ein Anstieg, der Verleger und Plattformen zunehmend alarmiert.
Neue Regeln für gemischte Crawler
Cloudflare führt ein dreistufiges Kategoriensystem für Bots ein. Crawler vom Typ „Training" oder „Agent" werden auf werbefinanzierten Seiten künftig standardmäßig blockiert. „Search"-Crawler bleiben erlaubt. Die eigentliche Neuerung betrifft jedoch die sogenannten Misch-Crawler – Bots wie Googlebot, Applebot oder BingBot. Sie sammeln nicht nur Daten für die Suchindexierung, sondern zunehmend auch für KI-Trainingsmodelle. Wer KI-Training blockiert, dem sperrt Cloudflare künftig automatisch den Zugriff dieser Mehrzweck-Crawler.
Bezahlen pro Abruf: Neues Geschäftsmodell für Verleger
Das alte „Pay Per Crawl"-System wird zum „Pay Per Use"-Modell weiterentwickelt. Cloudflare hat Partnerschaften mit Ceramic.ai und You.com geschlossen. Sie sollen sicherstellen, dass Verleger eine Vergütung erhalten, wenn ihre Inhalte in KI-Antworten einfließen.
Ab 15. September greifen neue Cloudflare-Regeln: Wer KI-Crawler blockieren will, muss Misch-Crawler wie Googlebot automatisch sperren. Wie Sie Ihre Inhalte schützen und gleichzeitig mit dem Monetization Gateway verdienen, zeigt dieser 3-Stufen-Plan. Jetzt kostenlosen 3-Stufen-Plan anfordern
Herzstück ist der Monetization Gateway. Er nutzt das x402-Protokoll und Stablecoin-Zahlungen. Damit können Betreiber Preise für den Zugriff auf Webseiten, APIs und Datensätze festlegen. In einer privaten Testphase lag der Mindestpreis bei einem Cent pro erfolgreichem Crawl. Die Abrechnung erfolgt im Sub-Sekunden-Bereich – technisch anspruchsvoll, aber für Mikrozahlungen notwendig.
Ineffizienz der KI-Jäger: 73.000 Anfragen für einen Klick
Cloudflare-CEO Matthew Prince legte interne Daten offen, die zeigen, wie ineffizient KI-Firmen derzeit arbeiten. Über 50 Prozent aller Crawl-Anfragen rufen Seiten ab, die sich seit dem letzten Besuch nicht verändert haben. Ein Forschungsprogramm zu „Frische-Signalen" soll Abhilfe schaffen.
Besonders krass die Unterschiede zwischen den KI-Anbietern: Anthropics Crawler ruft sage und schreibe 73.000 Seiten ab, um eine einzige Weiterleitung zurück zur Quelle zu generieren. OpenAI kommt auf rund 1.700 Seiten pro Verweis. Google ist mit 5 bis 14 Seiten pro Verweis vergleichsweise effizient. Für Verleger bedeutet das: Die Kosten durch Bandbreite und Serverlast stehen oft in keinem Verhältnis zum Nutzen.
Neue Kontrollinstrumente für Unternehmen
Über 50 % aller Crawl-Anfragen rufen unveränderte Seiten ab – Bandbreite ohne Gegenleistung. Mit dem neuen Business Insights Dashboard sehen Sie genau, welche KI-Bots Ihre Inhalte abgreifen. Der 3-Stufen-Plan zeigt, wie Sie ab 15. September die Kontrolle zurückgewinnen. Kontrolle zurückgewinnen – Report sichern
Für größere Organisationen bringt Cloudflare BotBase – eine Datenbank für das Enterprise-Bot-Management. Betreiber können künftig drei Zugriffsstufen definieren: „Sofort", „Referenz" oder „Vollständig". Das Business Insights Dashboard liefert detaillierte Berichte über KI-Bot-Aktivitäten. Es zeigt, welche Suchanfragen die eigenen Inhalte ausgespielt haben, welche Textausschnitte in KI-Antworten landeten und wie das Ranking in KI-Suchergebnissen aussieht.
Unabhängig von Cloudflare handeln auch andere Plattformen: Patreon blockiert bekannte KI-Trainingscrawler inzwischen auf Netzwerkebene, um die Inhalte seiner Kreativen zu schützen. Ein Trend, der sich abzeichnen dürfte – je mehr Verleger den Wert ihrer Daten erkennen.
