Das offene Web macht dicht: Wie KI-Konzerne den freien Rohstoff Daten abriegeln

Fast zwei Jahrzehnte lang war das offene Web der billigste Rohstoff der Tech-Industrie: Nachrichtenseiten, Foren, Blogs, Code-Repositories und Archive lieferten kostenlos das Material, aus dem große Sprachmodelle lernten. Dieses Zeitalter endet gerade – nicht schlagartig, aber unübersehbar. Immer mehr Seitenbetreiber sperren die Crawler aus, die für KI-Training Inhalte absaugen. Was folgt, ist keine technische Fußnote, sondern eine Verschiebung der Machtverhältnisse in der gesamten Branche.

Der Rückzug aus dem freien Web, in Zahlen

Wie schnell sich der Zugriff verändert hat, zeigt die Studie „Consent in Crisis" der Data-Provenance-Initiative aus dem Juli 2024: Zwischen April 2023 und April 2024 wurden innerhalb eines einzigen Jahres mehr als 25 Prozent der Tokens aus besonders wichtigen Webquellen durch robots.txt-Regeln eingeschränkt – eine einfache Textdatei im Stammverzeichnis jeder Website, mit der Betreiber Crawlern mitteilen, welche Bereiche sie abrufen dürfen. Über die großen Trainingskorpora C4, RefinedWeb und Dolma hinweg wurden mehr als fünf Prozent aller Tokens neu gesperrt.

Eine neuere Untersuchung mit dem Titel „Is Misinformation More Open?" hat 3.369 seriöse Nachrichtenseiten und 710 Desinformationsseiten über sechs Snapshots des Internet Archive zwischen September 2023 und Mai 2025 verglichen. Ergebnis: Der Anteil seriöser Medien, die mindestens einen KI-Crawler komplett aussperren, stieg von 23 auf fast 60 Prozent. Desinformationsseiten blieben bei unter zehn Prozent – sie profitieren schließlich davon, wenn Modelle ihre Inhalte aufsaugen. Eine Auswertung des Analysedienstes Buzzstream bei großen US- und UK-Publishern zeigt zudem, wie ungleich die Sperren verteilt sind: Der CCBot von Common Crawl, dessen Datensätze viele offene Modelle nutzen, wird von 75 Prozent blockiert, Anthropic-Crawler von 69 bis 72 Prozent, OpenAIs GPTBot von 62 Prozent, Googles Such-Crawler „Google-Extended" nur von 46 Prozent. Der klassische Googlebot bleibt fast überall zugelassen. In Deutschland blockiert laut einer Analyse der SEO-Agentur Seosoon bereits etwa ein Drittel aller .de-Domains KI-Crawler – der Trend hat längst den Mittelstand erreicht.

Warum Verlage die Tür zumachen

Für Publisher ist das kein technikfeindlicher Reflex, sondern nackte Ökonomie. Klassische Suchmaschinen belasteten Server, brachten dafür aber Besucher. KI-Antworten und KI-Übersichten wie Googles „AI Overviews" beantworten Fragen direkt auf der Ergebnisseite – der Klick auf die Ursprungsseite entfällt. Laut Daten des Analyseanbieters Chartbeat schrumpfte der Google-Such-Traffic zu Publishern in den zwölf Monaten bis November 2025 weltweit um rund ein Drittel. Kleinere Seiten mit 1.000 bis 10.000 täglichen Aufrufen verloren binnen zwei Jahren sogar 60 Prozent ihres Suchverkehrs, mittlere Publisher 47 Prozent, große Medienhäuser 22 Prozent. Die Hoffnung, Chatbot-Verweise könnten das kompensieren, erfüllt sich bislang kaum: Sie machen laut mehreren Studien weniger als ein Prozent der globalen Publisher-Seitenaufrufe aus.

Ein technischer Rüstungswettlauf

Weil robots.txt rechtlich unverbindlich ist – wer die Datei ignoriert, kann Inhalte trotzdem abrufen –, verlagert sich der Konflikt auf technische Abwehr: Content Delivery Networks erkennen Scraper heute am Verhalten, nicht mehr nur am gemeldeten Namen des Bots. KI-Firmen, die Sperren umgehen wollen, greifen zu Headless-Browsern (Programme, die Webseiten wie ein normaler Browser laden, nur ohne sichtbare Oberfläche) oder rotierenden Proxy-Netzwerken. Perplexity geriet deswegen in die Kritik, weil der Dienst laut Publisher-Berichten robots.txt-Vorgaben ignoriert haben soll; Amazon sah sich Vorwürfen ausgesetzt, sein KI-Einkaufsassistent umgehe technische Barrieren in Onlineshops.

Cloudflare, durch dessen Netzwerk ein erheblicher Teil des Web-Traffics läuft, hat sich zum zentralen Gatekeeper entwickelt. Im September 2025 führte der Anbieter die „Content Signals Policy" ein, mit der Websites in robots.txt präzise festlegen können, ob Inhalte für Suche, für KI-Eingaben oder fürs KI-Training genutzt werden dürfen – innerhalb kurzer Zeit nutzten mehr als 3,8 Millionen Domains Cloudflares verwaltete robots.txt, um KI-Training abzulehnen. Aus dem ursprünglichen Marktplatz „Pay per Crawl", über den Websites AI-Bots direkt fürs Abgreifen von Inhalten bezahlen lassen können, entwickelt Cloudflare inzwischen ein Modell namens „Pay per Use": Verlage werden bezahlt, wenn ihre Inhalte tatsächlich in KI-Antworten auftauchen – nicht schon beim bloßen Abruf. Ab dem 15. September 2026 will Cloudflare zudem sogenannte Mixed-Use-Crawler, die gleichzeitig für Suche und KI-Training genutzt werden, auf werbefinanzierten Seiten standardmäßig blockieren, sofern Anbieter ihre Bots nicht sauber trennen. Hintergrund: Mehr als die Hälfte des KI-Crawler-Traffics ruft laut Cloudflare Seiten ab, die sich seit dem letzten Besuch gar nicht verändert haben – reine Verschwendung fremder Serverressourcen.

Model Collapse: reale Gefahr, aber kein Automatismus

Die Sorge dahinter heißt „Model Collapse": Wenn Modelle über mehrere Generationen hinweg zunehmend mit den Ausgaben früherer Modelle statt mit frischen menschlichen Daten trainiert werden, verlieren sie schrittweise seltene Informationen, sprachliche Vielfalt und Genauigkeit. Der KI-Forscher Ilia Shumailov und Kollegen haben diesen Effekt 2024 in „Nature" unter dem Titel „AI models collapse when trained on recursively generated data" nachgewiesen: In einem Experiment entfernten sich über mehrere synthetische Trainingsrunden Texte über mittelalterliche Architektur zunehmend vom Thema, bis am Ende nur noch unsinnige, sich wiederholende Sätze über Hasenarten übrig blieben. Ein ähnlicher Effekt zeigt sich bei Bildmodellen: Eine Studie von Rice und Stanford University beschreibt eine „autophage Schleife", in der Bildgeneratoren, die fast nur mit eigenen Ausgaben weitertrainiert werden, zunehmend Details verlieren – Gesichter verschwimmen, Farbwelten verarmen.

Doch die Forschung ist differenzierter, als der Begriff suggeriert. Ein Team um Ben Gerstgrasser argumentierte 2024 auf der „Conference on Language Modeling" in der Arbeit „Is Model Collapse Inevitable?", dass der Kollaps nicht zwangsläufig eintritt – entscheidend ist, ob synthetische Daten menschliche Datensätze ersetzen oder nur ergänzen. Bleiben die ursprünglichen menschlichen Daten erhalten, bleibt das Training deutlich stabiler. Der eigentliche Engpass ist also nicht nur, dass neue Webdaten schwerer zugänglich werden, sondern auch, ob Anbieter ihre historischen Datenbestände sauber archivieren dürfen.

Der Markt verschiebt sich zu Lizenz-Deals

Während das freie Einsammeln erschwert wird, kaufen sich die kapitalstärksten Anbieter exklusiven Zugang. Google zahlt Reddit schätzungsweise 60 Millionen US-Dollar jährlich für Datenzugriff, auch OpenAI hat mit Reddit sowie mit Stack Overflow Vereinbarungen getroffen. Bei Medienhäusern schloss OpenAI Deals mit Axel Springer, der „Financial Times" und News Corp – Letzterer soll über fünf Jahre mehr als 250 Millionen US-Dollar umfassen. Im Bildbereich verlängerte OpenAI seine Partnerschaft mit Shutterstock. Parallel dazu zeigt der Fall Bartz v. Anthropic, wie teuer der alte, ungeregelte Weg werden kann: Weil Anthropic mehr als sieben Millionen digitalisierte Bücher aus erkennbar raubkopierten Quellen wie Books3 und Library Genesis für das Training genutzt hatte, einigte sich das Unternehmen im September 2025 auf eine Zahlung von 1,5 Milliarden US-Dollar – die größte Urheberrechts-Einigung in der US-Geschichte, umgerechnet rund 3.000 Dollar pro betroffenem Buch.

Diese Rechtsunsicherheit treibt Konzerne zusätzlich in Lizenzverträge, weil sich damit die Herkunft der Daten sauber dokumentieren lässt. Für etablierte Verlage ist das ein neuer Erlösstrom. Für kleinere Anbieter, Forschungsteams und offene Modellprojekte, die sich traditionell auf frei zugängliche Datensätze wie Common Crawl stützen, ist es das Gegenteil: Sie können sich solche Verträge kaum leisten und verlieren gleichzeitig Zugriff auf die frei crawlbaren Quellen. Paradoxerweise könnte der Versuch, unreguliertes Scraping einzudämmen, damit ausgerechnet die Marktmacht der größten Anbieter stärken – Google, OpenAI, Anthropic und Meta verfügen über Kapital, Rechenzentren und juristische Ressourcen, kleinere Wettbewerber nicht. Etwas Druck aus diesem Konzentrationsproblem nimmt derzeit nur die rasante Aufholjagd chinesischer Open-Weight-Modelle wie Zhipus GLM-5, Alibabas Qwen3.5 oder Moonshot AIs Kimi K2.5, die im Frühjahr 2026 mehrere Spitzenplätze belegten – wobei das eine Abhängigkeit von US-Anbietern lediglich durch eine neue von chinesischen Laboren ersetzen könnte.

Ausweichstrategien: synthetische Daten, RL und eigene Datenpools

Die Industrie reagiert auf mehreren Ebenen zugleich. Neben Lizenzverträgen setzen Labs verstärkt auf synthetische Daten und auf Reinforcement Learning from AI Feedback (RLAIF) – ein Verfahren, bei dem ein KI-Modell selbst Bewertungen und Korrekturen erzeugt, statt teure menschliche Bewertungen einzukaufen. Der Kostenunterschied ist erheblich: Menschlich erzeugte Präferenzdaten kosten pro Prompt oft einen bis über zehn US-Dollar, KI-generiertes Feedback mit einem starken Modell weniger als einen Cent. Das Forschungsunternehmen Epoch AI, das die Erschöpfung hochwertiger menschlicher Textdaten ursprünglich für 2026 prognostiziert hatte, hat sein Zeitfenster inzwischen auf 2028 nach hinten korrigiert – auch weil Multimodalität (Bild, Video, Audio) zusätzliches Trainingsmaterial liefert. Entscheidend bleibt laut Forschung aber, dass synthetische Daten menschliche ergänzen statt ersetzen.

Was das für Unternehmen bedeutet

Für Firmen, die eigene Modelle fine-tunen oder KI-Produkte bauen, ist die praktische Konsequenz unmittelbar: Web-Scraping als kostenlose Datenquelle wird rechtlich riskanter und technisch aufwendiger. In den USA verlangt der im Februar 2026 eingebrachte „AI Accountability for Publishers Act" ausdrücklich Zustimmung und Bezahlung vor dem Scraping von Publisher-Inhalten, in der EU verpflichtet der AI Act ab August 2026 zur vollen Durchsetzung Entwickler zur Offenlegung von Trainingsdatenquellen und zur Achtung von Urheberrechts-Opt-outs. Wer heute unklar dokumentierte Daten verwendet, riskiert Klagen in der Größenordnung des Anthropic-Falls. Sinnvoller ist für viele Unternehmen daher, frühzeitig in lizenzierte Datenfeeds, eigene Nutzerdaten und Partnerschaften mit Rechteinhabern zu investieren, Provenienz sauber zu dokumentieren und synthetische Daten gezielt als Ergänzung statt als Ersatz einzusetzen. Wer über wertvolle proprietäre Datenbestände verfügt – aus Kundeninteraktionen, Support-Tickets oder Fachwissen – sitzt in dieser neuen Ökonomie plötzlich auf einem strategischen Vermögenswert, nicht nur auf einem Betriebsdatensatz.

Das freie Web als kostenloser Datensteinbruch existiert nicht mehr. Die entscheidende Frage lautet nicht mehr, ob KI-Firmen künftig genug Daten bekommen – große Anbieter werden sich den Zugang kaufen. Entscheidend ist, zu welchem Preis, unter welchen Bedingungen und wer dabei außen vor bleibt.