Text aus dem Rauschen: Wie Diffusionsmodelle das Grundprinzip der Sprach-KI infrage stellen

Wer einem Sprachmodell beim Antworten zusieht, beobachtet immer dasselbe Schauspiel: Der Text tröpfelt Wort für Wort auf den Bildschirm, von links nach rechts, wie von einer unsichtbaren Schreibmaschine getippt. Das ist keine Design-Entscheidung, sondern das Grundprinzip fast aller heutigen KI-Systeme — von ChatGPT über Gemini bis Claude. Man nennt es autoregressive Generierung: Das Modell sagt das jeweils nächste Wort voraus, hängt es an, und beginnt von vorn. Jedes Wort muss auf das vorherige warten.

Am 10. Juni hat Google DeepMind mit DiffusionGemma ein Modell veröffentlicht, das diesen Mechanismus über Bord wirft. Es schreibt nicht Wort für Wort, sondern arbeitet wie ein Bildhauer: Es beginnt mit einem Block aus „Rauschen“ — 256 Platzhalter-Token auf einmal — und verfeinert ihn in mehreren Durchgängen parallel, bis lesbarer Text dasteht. Das Verfahren heißt Diffusion, und es ist dieselbe Idee, die Bildgeneratoren wie Midjourney oder Stable Diffusion groß gemacht hat: aus Rauschen schrittweise ein scharfes Ergebnis herausarbeiten. Googles Versprechen: bis zu viermal schnellere Textgenerierung, über 1.000 Token pro Sekunde auf einer einzelnen H100-GPU.

Warum das Wort-für-Wort-Prinzip zum Engpass wurde

Um zu verstehen, warum Google, Nvidia und ByteDance gerade jetzt an diesem Paradigma arbeiten, hilft ein Blick auf die Ökonomie der Inferenz — also des laufenden Betriebs von KI-Modellen. Autoregressive Modelle sind beim Antworten nicht durch Rechenleistung begrenzt, sondern durch Speicherbandbreite: Für jedes einzelne neue Wort müssen die Modellgewichte erneut durch den Grafikspeicher geschleust werden. Die teuren Rechenwerke moderner GPUs sind dabei einen Großteil der Zeit schlicht unterbeschäftigt — sie warten auf den Speicher, wie ein Sternekoch, der pro Gericht jedes Mal einzeln in den Keller läuft, um eine einzige Zutat zu holen.

Diffusionsmodelle drehen das Verhältnis um: Weil sie viele Token gleichzeitig verfeinern, lasten sie die Rechenwerke aus, statt auf den Speicher zu warten. DiffusionGemma finalisiert nach Messungen von MarkTechPost 15 bis 20 Token pro Rechendurchlauf — ein autoregressives Modell schafft genau eines. Nvidia bewirbt das Modell folgerichtig als idealen Workload für die eigene Hardware: über 1.000 Token pro Sekunde auf einer H100, über 700 auf einer RTX 5090 — also auch lokal auf dem Entwickler-PC. Zum Vergleich: Das normale Gemma 4 liegt laut The Decoder bei rund 300.

Dazu kommt ein zweiter Treiber: KI-Agenten. Wer ein Sprachmodell als autonomen Helfer einsetzt, der recherchiert, Code schreibt und sich selbst korrigiert, ruft das Modell pro Aufgabe dutzende Male hintereinander auf. Latenz multipliziert sich. Ein Modell, das fünfmal schneller antwortet, macht aus einer zähen Demo ein benutzbares Produkt — dieses Argument trug bereits Inception Labs vor, das Startup des Stanford-Professors Stefano Ermon, das im Februar 2025 mit Mercury das erste kommerzielle Diffusions-Sprachmodell auf den Markt brachte.

Vom Außenseiter zur Industrie-Roadmap

DiffusionGemma ist nicht der erste Vertreter seiner Art, aber ein Wendepunkt in der Breite der Bewegung. Die Zeitleiste liest sich wie eine beschleunigte Adoption: Anfang 2025 zeigte das akademische Modell LLaDA, dass Text-Diffusion grundsätzlich mit Llama-Klasse-Modellen mithalten kann — mit einem Bruchteil der Trainingsdaten. Im Mai 2025 verblüffte Google auf der I/O mit der geschlossenen Demo „Gemini Diffusion“ und fast 1.500 Token pro Sekunde. ByteDance legte mit Seed Diffusion nach, Inception Labs brachte im Februar 2026 Mercury 2 heraus, und im Mai veröffentlichte Nvidia seine Nemotron-Diffusionsmodelle — die je nach Last sogar zwischen autoregressivem und Diffusions-Modus umschalten können.

Mit DiffusionGemma gibt es nun erstmals ein Diffusions-Sprachmodell von Google DeepMind mit offenen Gewichten unter Apache-2.0-Lizenz: 26 Milliarden Parameter in einer Mixture-of-Experts-Architektur, von denen pro Schritt nur 3,8 Milliarden aktiv sind. Quantisiert läuft es in 18 GB Grafikspeicher — also auf besserer Consumer-Hardware. Die Inferenz-Engine vLLM unterstützt es ab Tag eins nativ, ebenso Hugging Face, Nvidia NIM und Apples MLX. Genau diese Tooling-Reife unterscheidet 2026 von den Forschungs-Demos des Vorjahres: Man kann das Paradigma jetzt einfach ausprobieren.

Diffusion bringt dabei Fähigkeiten mit, die autoregressiven Modellen strukturell fehlen. Weil beim Entrauschen jedes Token alle anderen sieht — auch die, die im Text später kommen —, kann das Modell Lücken mitten im Text füllen und sich während des Schreibens selbst korrigieren. Für Code-Editing, wo Änderungen selten am Ende einer Datei stattfinden, schlug ByteDances Seed Diffusion gleich große autoregressive Modelle. Andrej Karpathy, der frühere KI-Chef von Tesla, kommentierte schon zum Mercury-Launch, fast alle LLMs seien letztlich „Klone“ desselben autoregressiven Ansatzes — Diffusion habe das Potenzial, „andere Stärken und Schwächen“ zu zeigen.

Die Haken: Qualität, Cache und ein ernüchternder Agenten-Test

Wäre Diffusion schlicht besser, wäre die Branche längst umgestiegen. Die Trade-offs sind real. Erstens die Qualität: Google selbst stuft DiffusionGemma als experimentell ein und empfiehlt für den Produktivbetrieb weiterhin das normale Gemma 4 — auf allen veröffentlichten Benchmarks liegt das Diffusionsmodell darunter. Es gilt eine einfache Faustregel: Je mehr Token pro Schritt parallel finalisiert werden, desto mehr leidet die Qualität.

Zweitens die Technik: Der KV-Cache, der zentrale Effizienz-Trick autoregressiver Inferenz, funktioniert mit bidirektionaler Attention nicht ohne Weiteres — bei langen Kontexten wird Diffusion dadurch teuer. DiffusionGemma umgeht das mit einem Hybrid-Ansatz, der 256er-Blöcke nacheinander, aber innerhalb des Blocks parallel erzeugt. Und drittens der wichtigste Gegenbefund: Eine aktuelle Studie mit dem programmatischen Titel „The Bitter Lesson of Diffusion Language Models for Agentic Workflows“ testete offene Diffusionsmodelle als Steuerzentrale von KI-Agenten — mit desaströsem Ergebnis. Beim Haushalts-Benchmark AlfWorld erreichte LLaDA eine Erfolgsquote von 5 Prozent, wo ein gleich großes autoregressives Qwen-Modell 76 Prozent schaffte; beim Aufrufen von Werkzeugen produzierten die Modelle reihenweise fehlerhafte Ausgaben. Die getesteten Modelle waren älter und kleiner als DiffusionGemma — aber die Botschaft steht: Ausgerechnet für die Agenten, deren Tempo-Hunger das Diffusions-Argument befeuert, sind heutige Diffusionsmodelle als Gehirn noch ungeeignet.

Es gibt zudem einen ökonomischen Vorbehalt, der in der Hacker-News-Diskussion zum Launch prominent auftauchte: Der Geschwindigkeitsvorteil gilt vor allem für Einzelnutzer-Szenarien — lokal auf der Workstation, am Edge, in latenzkritischen Einzelanfragen. Große Cloud-Anbieter erreichen ihre GPU-Auslastung längst durch das Bündeln vieler paralleler Nutzeranfragen; dort schrumpft der Diffusions-Vorteil deutlich.

Was Entscheider daraus mitnehmen sollten

Für Unternehmen ist DiffusionGemma kein Anlass, die Modellstrategie umzuwerfen — aber ein klares Signal, wohin sich das Preis-Geschwindigkeits-Gefüge bewegt. Inception Labs verkauft Mercury 2 bereits für 0,25 Dollar pro Million Input- und 0,75 Dollar pro Million Output-Token bei vierstelligen Token-Raten — ein Bruchteil dessen, was Frontier-Modelle kosten, die oft unter 100 Token pro Sekunde liefern. Wo Geschwindigkeit und Kosten wichtiger sind als die letzten Qualitätsprozente — Autovervollständigung, Code-Edits, Echtzeit-Übersetzung, Voice-Bots, das massenhafte Umformatieren von Dokumenten —, werden Diffusionsmodelle 2026 zur ernsthaften Option. Die realistische Architektur ist hybrid: ein teures autoregressives Frontier-Modell für Planung und schwieriges Reasoning, schnelle Spezialmodelle für die Fließbandarbeit darunter.

Bemerkenswert ist auch, was der Release über den Wettbewerb verrät. Google verschenkt hier unter offener Lizenz einen Forschungsstand, den vor einem Jahr nur eine Handvoll Labore besaß — und Nvidia liefert die Optimierungen am selben Tag. Das Kalkül ist auf beiden Seiten durchsichtig: Google bindet Entwickler an sein Gemma-Ökosystem, Nvidia bewirbt einen Workload, der seine teuersten Rechenwerke endlich auslastet. Für alle anderen heißt das: Das Paradigma bekommt jetzt die Investitionen, die Tooling-Lücken und Qualitätsrückstände erfahrungsgemäß schnell schließen. Karpathy hat die Koexistenz beider Welten schon skizziert — vielleicht, schrieb er, liege die Zukunft in der Interpolation zwischen beiden. Die Schreibmaschine hat Konkurrenz bekommen. Noch tippt sie besser. Aber sie ist zum ersten Mal nicht mehr allein im Raum.