Der Zwei-Zeilen-Frieden: Warum ein neues robots.txt-Signal den KI-Krieg ums offene Web nicht beendet

Das Versprechen des globalen Schalters

Es sah für einen kurzen Moment nach dem historischen Friedensschluss aus, auf den Verlage, Medienhäuser und unabhängige Webmaster seit drei Jahren vergeblich gewartet hatten. Am 30. Oktober 2026 traten die vier einflussreichsten KI-Konzerne der westlichen Welt — Google, OpenAI, Microsoft und Anthropic — mit einer gemeinsamen Initiative an die Öffentlichkeit: Ein neuer Standard der Internet Engineering Task Force (IETF) soll das ausufernde Chaos bei der Kennzeichnung von Web-Inhalten beenden. Statt für jeden einzelnen Web-Crawler eines jeden KI-Startups separate Ausschlussregeln zu pflegen, soll künftig eine einzige, universelle Anweisung in der altbekannten Steuerdatei robots.txt genügen.

Zwei Zeilen Klartext sollen den Schutz des geistigen Eigentums im gesamten World Wide Web wiederherstellen:

User-Agent: __usage_ai-training
Disallow: /

Die Erleichterung in vielen Chefetagen war spürbar. Wer heute eine Website mit hunderttausenden redaktionellen Artikeln, Produktdaten oder Forenbeiträgen betreibt, führt einen zermürbenden Stellungskrieg gegen Heerscharen hungriger Inferenz- und Trainings-Scraper. Aus GPTBot, ClaudeBot, Google-Extended, PerplexityBot, Bytespider und Dutzenden anderen ist ein unübersichtlicher Zoo geworden. Viele kleinere Scraper tarnen sich schlicht als harmlose Browser, ignorieren bestehende Verbote oder wechseln ihre IP-Bereiche wöchentlich. Der Vorstoß unter der Federführung von Anthropics Chef-Sicherheitsarchitekten Kevin Kelley verspricht nichts Geringeres als Ordnung: Ein einziger, allgemein anerkannter Policy Token, den alle führenden Labore der Welt deterministisch respektieren wollen.

Doch wer den vorliegenden IETF-Entwurf (draft-kelley-aipref-training-preference-signal-00) Zeile für Zeile analysiert und ihn mit der rauen juristischen Wirklichkeit der Gerichtsverfahren dieses Herbstes abgleicht, erkennt rasch die ernüchternde Wahrheit: Hinter dem eleganten Zwei-Zeilen-Standard verbirgt sich kein Friedensvertrag, sondern ein hochgradig asymmetrisches PR-Manöver. Es schützt die Big-Tech-Konzerne vor rechtlicher Haftung, während es das fundamentale Problem des offenen Internets im Zeitalter autonomer Agenten nicht einmal berührt.

Die Sollbruchstellen des IETF-Entwurfs

Um zu verstehen, warum die vorgeschlagene Lösung bei genauerer Betrachtung in sich zusammenfällt, muss man sich die technische Natur des IETF-Entwurfs vor Augen führen. Ein Entwurf mit dem Status -00 ist die früheste denkbare Stufe eines Internet-Standards — er besitzt keinerlei normative Bindungskraft, sondern spiegelt lediglich die Diskussionsgrundlage einer einzelnen Arbeitsgruppe wider. Selbst die optimistischsten Fahrpläne der beteiligten Unternehmen sehen eine praktische Unterstützung ihrer Produktions-Crawler frühestens für das erste Halbjahr 2027 vor.

Noch gravierender sind jedoch die drei systemischen Sollbruchstellen, die der Standard selbst festschreibt:

1. Das Signal verbietet nicht das Crawling, sondern nur das Training

Im Gegensatz zur klassischen Disallow: /-Anweisung für Suchmaschinen, die dem Crawler den Zugriff auf den Server und den Download der HTML-Datei schlicht untersagt, trennt der neue Policy Token __usage_ai-training strikt zwischen dem technischen Abruf und der nachgelagerten Datennutzung. Ein Crawler darf die Seite weiterhin vollständig herunterladen, analysieren und auf seinen Servern zwischenspeichern — er verpflichtet sich lediglich auf der Ebene einer Absichtserklärung dazu, die so gewonnenen Tokens nicht in den Trainingskorpus seiner nächsten Modellgeneration einfließen zu lassen.

Für Website-Betreiber bedeutet das: Die massive Serverlast, der Bandbreitenverbrauch und die Infrastrukturkosten für millionenfache Bot-Aufrufe bleiben unvermindert bestehen. Der Webmaster erfährt keinerlei technische Entlastung. Er muss den Konzernen schlicht blind darauf vertrauen, dass in den internen ETL-Pipelines (Extract, Transform, Load) hinter verschlossenen Labortüren ein deterministischer Filter greift, der seine Daten aussortiert. Eine unabhängige, kryptografische oder externe Auditierung dieser Aussortierung sieht der IETF-Entwurf an keiner Stelle vor.

2. Die semantische Grauzone zwischen „Training“ und „Grounding“

In der modernen generativen KI ist die Grenze zwischen statischem Training und dynamischer Inferenz längst verschwommen. Wenn ein Sprachmodell eine Web-Recherche durchführt, um eine Nutzerfrage live zu beantworten (Grounding oder Retrieval-Augmented Generation, RAG), wird der Text nicht im herkömmlichen Sinne nachträglich in die Parametergewichte des neuronalen Netzes „eintrainiert“. Dennoch wird der Inhalt der Website in den KV-Cache des Modells geladen, dort semantisch verarbeitet und dem Endnutzer als aggregierte Synthese präsentiert — ohne dass dieser jemals auf die Quell-Website klicken muss.

Hier zeigen sich bereits die ersten Risse in der scheinbaren Einigkeit der vier Konzerne: Während Google in seinen Entwickler-Dokumentationen bereits klargestellt hat, dass der Ausschluss per __usage_ai-training künftig auch die Nutzung für Gemini Apps Grounding und die gefürchteten AI Overviews in der Websuche erfassen soll, hüllen sich OpenAI und Anthropic zu dieser Frage in Schweigen. Für Verlage und Medienhäuser ist genau das der existenzielle Punkt: Wenn das Zwei-Zeilen-Kommando zwar das langfristige Vortraining untersagt, die Plattformen den Text aber weiterhin kostenfrei in Echtzeit für Chatbot-Antworten verwerten dürfen, ist für den Publisher wirtschaftlich nichts gewonnen.

3. Der Pakt der Guten schützt nicht vor den Trittbrettfahrern

Selbst wenn man unterstellt, dass sich Google, Microsoft, Anthropic und OpenAI buchstabengetreu an ihre Selbstverpflichtung halten: Die globale KI-Landschaft des Jahres 2026 ist kein geschlossener Club von vier US-Unternehmen mehr. Asiatische Frontier-Labore wie DeepSeek, Moonshot AI, Alibaba oder 01.AI, osteuropäische Scraper-Netzwerke und Tausende VC-finanzierte Startups, die mit aggressiven Aggregations-Agenten arbeiten, sind an die Absprachen von Mountain View und San Francisco in keiner Weise gebunden. Wer den Policy Token in seine robots.txt einbaut, schließt die vier dominanten Riesen aus — liefert seine Inhalte aber weiterhin ungeschützt an jeden Akteur aus, der sich nicht freiwillig der Konvention unterwirft.

Das Brave-Verfahren: Wie Such-Indizes zur Geldwaschanlage für KI-Daten werden

Wie brüchig das gesamte System freiwilliger Verhaltensregeln und herkömmlicher Web-Schranken ist, demonstriert ein hochkarätiges Gerichtsverfahren, das fast zeitgleich mit dem IETF-Vorstoß die Branche erschütterte. Am 2. November 2026 reichten die renommierte New York Times sowie renommierte Zeitungstitel von Tribune Publishing (darunter der Chicago Tribune, die New York Daily News und der Orlando Sentinel) vor dem US-Bezirksgericht in Manhattan eine massive Urheberrechtsklage gegen das Softwareunternehmen Brave Software ein.

Der Vorwurf wiegt schwer und offenbart die Mechanismen des modernen Datenhandels: Brave, bekannt für seinen datenschutzfreundlichen Webbrowser und seine unabhängige Suchmaschine Brave Search, betreibt einen eigenen, weltweiten Web-Crawler. Dieser Crawler sammelt seit Jahren Milliarden von Webseiten, um einen eigenständigen, von Google unabhängigen Suchindex aufzubauen. Gegen diesen Suchindex hatten Publisher historisch wenig einzuwenden — schließlich diente er dazu, suchenden Nutzern Links anzuzeigen und Traffic auf die Ursprungsseiten zu lenken.

Laut Klageschrift hat Brave diesen originären Zweck jedoch grundlegend pervertiert. Über seine kommerzielle Schnittstelle, die Brave Search API, verkauft das Unternehmen den Zugriff auf seinen milliardenfachen Volltext-Index direkt an Frontier-KI-Laboratorien und KI-Entwickler weltweit. Die New York Times wirft Brave vor, als gigantische „Content-Waschanlage“ zu fungieren: KI-Unternehmen, die davor zurückschrecken, geschützte Zeitungsartikel direkt per Scraper von den Webservern der Verlage abzugreifen — sei es aus Angst vor Paywalls, IP-Sperren oder rechtlichen Klagen —, kaufen die bereits fertig gecrawlten und aufbereiteten Volltexte einfach über Braves API ein.

In den internen Verkaufsunterlagen von Brave, die Teil der Klageschrift sind, warb das Unternehmen unverhohlen damit, dass Kunden über die API „hochaktuelle Daten für das Training und Grounding von Sprachmodellen beziehen können, ohne eigene Scraping-Infrastruktur betreiben zu müssen“. Damit hebelte Brave systematisch die Paywalls und die robots.txt-Ausschlüsse der Verlage aus. Denn während Verlage wie die New York Times die Bots von OpenAI oder Anthropic längst auf Serverebene blockiert hatten, durfte der Brave-Such-Crawler ungehindert passieren — im guten Glauben, er erstelle lediglich Suchergebnisse.

Der Fall Brave belegt ein fundamentales Strukturproblem der digitalen Ökonomie: Solange Inhalte im offenen Web für Suchmaschinen lesbar sein müssen, um auffindbar zu bleiben, existiert kein technischer Mechanismus, der verhindert, dass dieselben Daten über Zwischenhändler, APIs und Third-Party-Indizes in Trainings-Pipelines geschleust werden. Eine Direktive in der robots.txt bindet denjenigen, der sie liest — sie kontrolliert aber nicht, an wen die ausgelesenen Daten hinter den Kulissen weiterverkauft werden.

Die europäische Falle: Warum der IETF-Standard vor Gericht nach hinten losgehen kann

Für europäische Technologie-Unternehmen, Medienhäuser und Verlage birgt der IETF-Vorstoß zudem ein erhebliches juristisches Risiko, das in der bisherigen Debatte fast vollständig übersehen wird: die Gefahr eines verhängnisvollen Bumerang-Effekts vor den Zivilgerichten.

Im europäischen Urheberrecht — geregelt durch die Richtlinie über das Urheberrecht im digitalen Binnenmarkt (DSM-Richtlinie 2019/790) und in Deutschland im wegweisenden § 44b Urheberrechtsgesetz (UrhG) — gilt der Grundsatz der gesetzlichen Schranke für Text- und Data-Mining (TDM). Unternehmen dürfen öffentlich zugängliche Web-Inhalte grundsätzlich auch ohne Lizenzvertrag automatisiert auswerten und für das KI-Training vervielfältigen. Die einzige Möglichkeit für Urheber, dies zu verhindern, ist ein ausdrücklicher, rechtlich wirksamer Nutzungsvorbehalt. Das Gesetz verlangt dafür im Online-Bereich eine zwingende Voraussetzung: Der Vorbehalt muss „in maschinenlesbarer Form“ erklärt werden.

Über die Frage, was genau als „maschinenlesbar“ gilt, tobte in Deutschland monatelang ein erbitterter Streit. Das Hanseatische Oberlandesgericht Hamburg fällte im Dezember 2025 in der Berufungsinstanz des Prozesses Kneschke gegen LAION e.V. (Az. 5 U 104/24) ein wegweisendes Grundsatzurteil: Die Richter stellten klar, dass maschinenlesbare Vorbehalte keine exotischen Spezialformate erfordern, sondern dass bereits semantisch eindeutige Klauseln in natürlichen AGBs oder standardisierte Header-Tags ausreichen können, sofern sie von Software automatisiert geparst werden können.

Wenn sich nun jedoch die vier weltgrößten Plattformen zusammenschließen und einen IETF-Draft als den „offiziellen internationalen Standard für maschinenlesbare Trainingsvorbehalte“ etablieren, droht sich die juristische Beweislast für europäische Website-Betreiber dramatisch zu ihren Ungunsten zu verschieben:

• Die Entwertung individueller AGBs: Vor Gericht werden die Anwälte der KI-Konzerne künftig argumentieren: Es existiert ein globaler, branchenweit konsentierter IETF-Standard (__usage_ai-training). Wer diesen Standard nicht in seiner robots.txt implementiert hat, hat seinen Nutzungsvorbehalt nach dem Stand der Technik eben nicht in hinreichend maschinenlesbarer Form erklärt. Individuelle AGB-Klauseln, Footer-Hinweise oder proprietäre Tags könnten von Richtern künftig als unzureichend verworfen werden.
• Die Standard-Falle: Verlage, die den neuen Standard aus Skepsis vorerst ignorieren oder schlicht noch nicht implementiert haben, könnten damit rückwirkend jeglichen Urheberrechtsschutz für ihre bisherigen Archive verlieren. Die Plattformen schaffen sich mit dem IETF-Entwurf ein perfektes Alibi: „Wir haben den Urhebern einen Standard gegeben. Wer ihn nicht nutzt, hat implizit eingewilligt.“

Fazit: Die Illusion kostenloser digitaler Güter

Die Initiative für ein gemeinsames robots.txt-Signal ist kein böswilliger Schachzug, aber sie ist ein grundlegendes Placebo für eine strukturelle Kernkrise des Internets. Das offene Web basiert auf einem impliziten Gesellschaftsvertrag aus den 1990er-Jahren: Webmaster stellen ihre Inhalte kostenlos und maschinenlesbar ins Netz, damit Suchmaschinen sie indexieren können. Im Gegenzug leiten die Suchmaschinen menschliche Besucher mit Aufmerksamkeit, Klicks und Werbeeinnahmen auf die Ursprungsseiten zurück.

Autonome KI-Agenten und Frontier-Modelle haben diesen Gesellschaftsvertrag einseitig gekündigt. Sie saugen die Datenmengen ab, verarbeiten sie intern und liefern dem Nutzer die fertige Antwort, ohne dass dieser jemals die Quellseite betritt. Gleichzeitig fordern sie von den Website-Betreibern, dass deren Server rund um die Uhr gigantische Rechenlasten für automatisierte Abrufe stemmen.

Zwei Zeilen Code in einer Textdatei können diesen ökonomischen Bruch nicht heilen. Solange das Auslesen von Inhalten und deren wirtschaftliche Verwertung voneinander entkoppelt sind, bleibt jede robots.txt-Regelung ein zahnloser Papiertiger. Für Vorstände, IT-Leiter und Betreiber digitaler Plattformen ergibt sich daraus eine unbequeme, aber unausweichliche Konsequenz für die Strategie der kommenden Jahre: Das offene, ungeschützte Web wird schrumpfen. Wer exklusive Daten, fundierte Fachrecherchen oder hochwertige Schnittstellen besitzt, wird sich nicht auf Standards wie __usage_ai-training verlassen können. Die Zukunft gehört geschlossenen Ökosystemen, kryptografisch gesicherten API-Verträgen und strikten Paywalls. Der Traum vom frei zugänglichen, werbefinanzierten Web stirbt — und zwei Zeilen in der robots.txt werden ihn nicht wiederbeleben.