Die KI wandert zurück aufs Gerät: On-Device-Inferenz, NPUs und der Privatsphäre-Vorteil

Die wichtigste Nachricht der diesjährigen WWDC steckt nicht im glänzenden neuen Siri und auch nicht im überraschenden Gemini-Deal. Sie steckt in der Architektur dahinter. Als Apple am 8. Juni sein neues „Siri AI“ vorstellte, beschrieb der Konzern ein dreistufiges System: Einfache Anfragen rechnet Siri direkt auf dem Gerät, mittelschwere auf Apples eigenen, abgeschotteten Servern, und nur die schwersten Reasoning-Aufgaben wandern in die Cloud. „Daten werden nur zur Ausführung Ihrer Anfrage genutzt, und externe Experten können dieses Versprechen jederzeit überprüfen“, sagte Software-Chef Craig Federighi. Das Bemerkenswerte ist die Reihenfolge: Gerät zuerst, Cloud zuletzt.

Damit ist Apple kein Einzelfall, sondern Symptom. Nach Jahren, in denen Künstliche Intelligenz fast ausschließlich in gigantischen Rechenzentren stattfand, schwingt das Pendel 2026 spürbar zurück aufs Gerät. Vier Kräfte treiben diese Bewegung: Datenschutz und Regulierung, Latenz, Kosten — und die schlichte Tatsache, dass Offline-Fähigkeit ein Wert ist. Für Entscheider in SaaS- und Tech-Unternehmen ist das mehr als eine technische Fußnote. Es verändert, wie Produkte gebaut, bepreist und gegen Wettbewerber verteidigt werden.

Was „On-Device“ eigentlich heißt

Eine Analogie hilft. Cloud-KI funktioniert, als würde man jede Frage per Brief an eine zentrale Bibliothek schicken: Man wartet auf die Antwort, jeder Postbote könnte mitlesen, und für jeden Brief fällt Porto an. On-Device-KI ist dagegen wie ein kompetenter Assistent im eigenen Büro — sofort verfügbar, vertraulich, ohne Stückkosten pro Frage. Der Preis dafür: Der Assistent im eigenen Büro weiß weniger als die Großbibliothek.

Damit dieser lokale Assistent überhaupt arbeiten kann, braucht es zwei Zutaten. Erstens spezialisierte Hardware: die NPU (Neural Processing Unit), ein eigener Chip-Bereich, der auf die Matrixrechnungen neuronaler Netze optimiert ist. Ihre Leistung wird in TOPS gemessen — Billionen Operationen pro Sekunde. Zweitens Quantisierung: ein Verfahren, das die Zahlen im Modell mit weniger Präzision speichert. Man kann es sich vorstellen wie dasselbe Buch in kompakterer Schrift gedruckt — es passt plötzlich in die Westentasche, fast ohne dass Information verloren geht. Ein 7-Milliarden-Parameter-Modell schrumpft durch 4-Bit-Quantisierung von rund 14 auf unter 4 Gigabyte, bei nur ein bis drei Prozent Qualitätsverlust. Erst diese beiden Fortschritte machen lokale KI praktisch.

Was 2026 tatsächlich lokal läuft

Die Liste ist überraschend lang geworden. Googles Gemma 4 12B, am 3. Juni veröffentlicht, läuft auf jedem Laptop mit 16 Gigabyte Speicher — multimodal, mit nativem Audio-Input, unter freier Apache-2.0-Lizenz. Microsofts Phi-4 Mini belegt mit 2,2 Gigabyte gerade einmal so viel Platz, dass es bequem auf ein Smartphone passt, und erreicht bei strukturierter Datenextraktion das Niveau weit größerer Modelle. Liquid AI treibt mit seiner LFM2-Familie eine elegante Idee voran: Mixture-of-Experts-Modelle, die zwar acht Milliarden Parameter umfassen, von denen aber nur rund anderthalb Milliarden je Anfrage aktiv werden — die Reasoning-Tiefe eines großen Modells bei der Latenz und dem Energiebedarf eines kleinen. Und Apples eigenes On-Device-Modell mit drei Milliarden Parametern verarbeitet rund 30 Tokens pro Sekunde auf dem iPhone, ohne einen Cent API-Kosten.

Die Faustregel für 2026 lautet: 3- bis 4-Milliarden-Modelle laufen nützlich auf Telefonen, 12-Milliarden-Multimodal-Modelle auf jedem ordentlichen Laptop. Wer mehr Leistung braucht, greift zu lokalen Workstations wie Nvidias DGX Spark — 128 Gigabyte vereinheitlichter Speicher, bis zu ein PetaFLOP Rechenleistung, ab rund 4.700 US-Dollar.

Das stille Wettrüsten in der Hardware

Parallel hat sich die Chip-Landschaft dramatisch verschoben. Qualcomms Snapdragon X2 Elite bringt es auf 80 bis 85 TOPS, AMD und Intel liegen mit ihren aktuellen Generationen bei rund 50 bis 60 TOPS. Das ist innerhalb eines Jahres ein Sprung von 45 auf über 80 TOPS — laut Branchenbeobachtern der größte Generationssprung in der Geschichte des Consumer-Siliziums. Apples M5-Chip kombiniert seine Recheneinheiten zu rund 133 TOPS und beschleunigt 7- bis 13-Milliarden-Modelle vollständig lokal.

Microsoft hat mit der Copilot+-PC-Kategorie (Mindestanforderung: 40 TOPS) einen Standard gesetzt und auf der Build 2026 die starre NPU-Bindung gelockert — lokale KI läuft nun auch GPU-beschleunigt über breitere Hardware. Die „AI-PC“-Kategorie ist damit keine Marketing-Hülse mehr, sondern eine reale Plattform, auf der ernsthafte Modelle ohne Internetverbindung arbeiten.

Warum das geschäftlich zählt

Der schärfste Treiber ist nicht Technik, sondern Geld. 2026 ist das Jahr, in dem die Token-Kostenkrise sichtbar wurde. Uber verbrauchte sein gesamtes KI-Jahresbudget in vier Monaten, als die Claude-Code-Nutzung unter den Entwicklern von 32 auf 84 Prozent sprang — mit API-Kosten von 500 bis 2.000 Dollar pro Engineer und Monat. GitHub stellte Copilot zum 1. Juni von Flatrate auf nutzungsbasierte Abrechnung um. Das Paradox dahinter: Die Preise pro Token fallen, die Rechnungen steigen trotzdem, weil eine einzige agentische Aktion Dutzende Modellaufrufe auslöst.

Genau hier liegt der wirtschaftliche Reiz von On-Device-KI: Sie ist der Fluchtweg aus den variablen Kosten. Eine Funktion, die lokal auf dem Nutzergerät läuft, verursacht keine Grenzkosten pro Anfrage — das ergibt planbare Margen statt eines mitwachsenden Cloud-Postens. Dass Apple Entwicklern die On-Device-Inferenz sogar kostenlos anbietet, untergräbt das Per-Token-Geschäftsmodell für ganze App-Kategorien. Dazu kommt der Datenschutz-Vorteil: Wenn Daten das Gerät nie verlassen, lösen sich DSGVO- und Datenresidenz-Probleme an der Wurzel — entscheidend für Gesundheit, Finanzen und Recht, und doppelt relevant, da die High-Risk-Regeln des EU AI Act zum 2. August 2026 greifen.

Die Grenzen — und warum die Zukunft hybrid ist

Bei aller Euphorie bleibt die ehrliche Einordnung wichtig: Kleine Modelle sind schwächer. Für Klassifikation, kurze Fragen und einfache Nachschlagevorgänge bestehen sie den Praxistest. Bei mehrstufigem Reasoning, dateiübergreifender Code-Generierung, der Synthese langer Kontexte und breitem Weltwissen sind sie den großen Cloud-Modellen klar unterlegen. Speicher und Akku setzen harte physische Grenzen.

Die Antwort heißt deshalb nicht „entweder/oder“, sondern intelligentes Routing. Wenn ein lokales Modell 85 Prozent der Anfragen souverän erledigt und nur die schwierigen 15 Prozent in die Cloud schickt, sinken die Cloud-GPU-Kosten um 60 bis 80 Prozent — bei kaum spürbarem Qualitätsverlust. Genau dieses Muster wird zum Standard: Perplexity stellte Anfang Juni einen „hybriden Local-Server-Inference-Orchestrator“ vor, der automatisch zwischen Gerät und Cloud-Frontier-Modell entscheidet. Apples dreistufige Siri-Architektur ist dieselbe Idee, nur tief ins Betriebssystem gegossen.

Was Entscheider jetzt mitnehmen sollten

Für CEOs, Produktverantwortliche und Tech-Leads ergeben sich drei konkrete Schlüsse. Erstens: Architektur jetzt hybrid-fähig denken — eine Routing-Schicht, die zwischen lokal und Cloud entscheidet, wird zur Standardkomponente statt zur Kür. Zweitens: Token-Budgets als reale, planbare Kostenposition behandeln, nicht als variable Überraschung am Monatsende; On-Device-Verlagerung ist dabei der wirksamste Hebel. Drittens: Privacy-by-Design als Wettbewerbsvorteil begreifen, nicht bloß als Compliance-Pflicht — in regulierten Branchen wird lokale Verarbeitung zum Verkaufsargument.

Eine letzte, unbequeme Pointe liefert ausgerechnet der EU-Sonderfall: Während Apple seine lokale KI weltweit ausrollt, bleibt Siri AI auf europäischen iPhones vorerst gesperrt — blockiert vom Digital Markets Act. Die Bewegung zurück aufs Gerät löst die alten Datenschutzkonflikte technisch elegant. Doch sie zeigt zugleich, dass Regulierung selbst dann zum Standortfaktor wird, wenn die Technik das eigentliche Problem längst gelöst hätte.