← Zurück zur Ausgabe vom 14. November 2026

Reportage

Taxi oder Dienstwagen? Wann sich selbst betriebene KI-Modelle gegenüber der API wirklich rechnen – und was auf keiner Kalkulation steht

Mit llama.cpp 1.0 wird lokale KI-Software erwachsener, und 42 Prozent von 200 befragten, überwiegend nordamerikanischen Unternehmen betreiben offene Modelle produktiv. Frische Rechnungen zeigen: Je nach Modell rechnet sich der Eigenbetrieb schon bei geringer Auslastung – oder selbst bei Volllast nicht. Wo die Break-even-Linie verläuft, welche Kosten fehlen und welche fünf Entscheidungen jetzt anstehen.

Von Stefan Lange-Hegermann · · 7 Minuten

Die Frage, die jede Release-Meldung neu stellt

Wer einen Dienstwagen least, zahlt jeden Tag, ob das Auto fährt oder in der Garage steht. Wer Taxi fährt, zahlt nur für die gefahrenen Kilometer, dafür aber einen höheren Preis pro Kilometer. Ob sich das Leasing lohnt, hängt nicht vom Fahrzeug ab, sondern davon, wie oft man tatsächlich fährt. Genau diese Rechnung steht hinter einer Frage, die in vielen Vorständen derzeit auftaucht: Sollen wir KI-Modelle selbst betreiben, statt sie über eine Schnittstelle (API) zu mieten?

Anlass liefert die Nachrichtenlage. Am Freitag haben die Entwickler von llama.cpp, der weitverbreiteten Software zum lokalen Ausführen von Sprachmodellen, die Version 1.0 veröffentlicht. Sie versprechen künftig sichtbare Versionssprünge, wenn sich Schnittstellen inkompatibel ändern, und sie unterstützen laut eigener Angabe mehr als 150 Modellarchitekturen. Die Marktbeobachtung dazu lieferte Hugging-Face-Chef Clem Delangue im Juli: Firmen starteten mit den Schnittstellen der großen Labore, und mit wachsendem Volumen drängten die Kosten sie zu offenen Modellen. Das ist die Sicht eines interessierten Anbieters, dessen Plattform laut TechCrunch von rund der Hälfte der Fortune 500 genutzt wird. Was sagen die Zahlen?

Die Formel: Auslastung entscheidet

Die aktuellste und transparenteste Rechnung stammt vom Modellvermittler OpenRouter, der selbst API-Zugänge verkauft, also nicht neutral ist, aber ihre Annahmen offenlegt. Das Prinzip: Man vergleicht die Miete für eine GPU-Stunde mit dem, was dieselbe Stunde Rechenleistung über die API kosten würde. Der Quotient ist die „Break-even-Auslastung“, also der Anteil der gemieteten Stunden, in denen die Grafikkarte tatsächlich arbeiten muss, damit sich der Eigenbetrieb gegenüber der API rechnet. Liegt der Wert über 100 Prozent, gewinnt die API selbst bei Volllast.

Die Ergebnisse vom 8. Oktober fallen je nach Modellgröße gegensätzlich aus. Ein mittelgroßes Modell mit 27 Milliarden Parametern (Qwen3.8 27B) auf einer gemieteten RTX 3090 für 0,50 Dollar pro Stunde rechnet sich ab etwa 6 bis 12 Prozent Auslastung. Ein großes Modell, DeepSeek V4.1 Flash mit 552 Milliarden Parametern, braucht ein Mehrkartensystem. Auf vier gemieteten H200-Karten schlägt es die günstigste API-Variante mit garantierter Nicht-Speicherung der Daten („Zero Data Retention“) laut OpenRouter nie, selbst bei vollem Betrieb. Auf zwei B200-Karten braucht es zu den günstigsten Mietpreisen 76 Prozent Auslastung.

Der Haken am kleinen Modell: Die Karte erreicht ihren Durchsatz, indem sie 64 Anfragen parallel bedient, und jeder Nutzer bekommt dann nur rund 15 Wörter-Bruchstücke („Tokens“) pro Sekunde. Für einen Chat ist das langsam. Und wer nur zu Bürozeiten Anfragen hat, 40 von 168 Wochenstunden, erreicht höchstens rund 24 Prozent Auslastung. Nach OpenRouters Rechnung schließt das alle DeepSeek-Varianten aus und lässt nur die RTX 3090 übrig, und die nur, solange der Preis vom 8. Oktober gilt.

Warum die Zahlen so stark schwanken

Drei Effekte erklären, warum Berichte mal „Faktor drei billiger“, mal „nie wirtschaftlich“ rufen. Erstens streuen die API-Preise für identische Modellgewichte enorm: Der teuerste Anbieter verlangt laut OpenRouter für Qwen3.8 27B das 3,5-Fache des günstigsten, für DeepSeek V4.1 Flash fast das 13-Fache. Wer gegen einen Listenpreis rechnet, kann weit danebenliegen.

Zweitens ändern sich Preise schnell. Am 19. Oktober nahm ein neuer Anbieter für Qwen3.8 27B nur 0,50 Dollar pro Million Ausgabe-Tokens; der Break-even sprang damit für kurze Prompts auf rund 29 Prozent.

Drittens führt die Messgröße in die Irre. Die oft zitierten Kosten von etwa einem Cent pro Million Tokens zählen laut OpenRouter überwiegend zwischengespeicherte Eingabe-Tokens. Das ist, als würde ein Kellner nur die Wiederholungen derselben Gruppenbestellung zählen, die er sich schon gemerkt hat. Solche Tokens sind über die API ebenfalls fast gratis. Rechnet man pro tatsächlich erzeugtem Ausgabe-Token, kostet dieselbe H200 bei 2,90 Dollar Miete 3,49 Dollar pro Million, die günstigste API-Variante dagegen 0,18 Dollar. Die Durchsatzwerte stammen aus der Benchmark-Plattform InferenceX von SemiAnalysis; OpenRouter selbst nennt die Selbsthosting-Seite eine Annahme.

Was auf keiner Rechnung steht

Die Kalkulation oben lässt Ingenieurzeit und Reservekapazität für Lastspitzen bewusst weg und ist daher, so OpenRouter, eine Untergrenze. Wie stark das ins Gewicht fällt, zeigt das Rechenbeispiel des Entwicklers Jedidiah Weller: 52.000 Dollar API-Kosten pro Jahr gegen einen 300.000-Dollar-Server mit 20.000 Dollar Betriebskosten. Selbst wenn der Server die komplette API-Rechnung ersetzt, dauert die Amortisation 9,4 Jahre. Vier Stunden Betreuung pro Woche zu 100 Dollar verlängern sie auf 26,8 Jahre. Das Szenario ist illustrativ, zeigt aber die Hebel.

Der Gegenpol kommt von LLMDeploy, einem Dienstleister, der Eigenbetrieb verkauft: Bei schwerer, gleichmäßiger Nutzung liege der Break-even bei zwei bis vier Monaten. Der Unterschied zwischen 112 Monaten und drei Monaten ist die Auslastung, nicht die Technik.

Die Umfragen bestätigen das Bild. Bei Futurum nennen 50 Prozent der Pilotprojekte Selbsthosting-Kosten als Bremse, bei 62 unvollständige Sicherheits- und Compliance-Prüfungen. Nur 10 Prozent der Unternehmen mit eigenem Aufbau berichten von nachhaltigem ROI im großen Maßstab, 25 Prozent von keinem Fortschritt; bei externen Lösungen sind es 17 Prozent. 52 Prozent der Nichtnutzer geben fehlende Kompetenz an. Futurums Schluss: Für die meisten Firmen sei es sinnvoller, offene Modelle über eine Plattform zu beziehen, als um sie herum zu bauen.

Qualität: Was Verkleinern kostet

Wer auf kleinere Hardware ausweicht, verkleinert Modelle per „Quantisierung“. Man speichert jede Zahl im Modell mit weniger Bits, ähnlich wie ein JPEG mit stärkerer Kompression: weniger Speicher, bei geschickter Methode kaum sichtbarer Verlust. Ein 27-Milliarden-Modell braucht bei 16 Bit rund 54 Gigabyte, bei 8 Bit 27 und bei 4 Bit 13,5. OpenRouter testete sechs Anbieter desselben Modells mit 240 Aufgaben mit exakter Lösung. Die Trefferquoten lagen zwischen 98,3 und 99,2 Prozent, ein Unterschied nach Genauigkeitsstufe war nicht erkennbar. Eine Teilaufgabe, Multiplikation ohne Rechenweg, fiel bei einem 4-Bit-Anbieter schwächer aus; das lässt sich laut OpenRouter nicht von Zufall trennen. Die Messung gilt für ein Modell an einem Tag. Wer quantisiert, testet also die eigenen Prompts.

Wichtiger ist die Fähigkeitslücke. Futurum zufolge liegt das beste offene Modell im Artificial-Analysis-Index inzwischen rund 12 Punkte hinter der Spitze, nach etwa 4 Punkten im Juli. Die in Unternehmen verbreiteten offenen Familien schneiden schwächer ab: Nvidias Nemotron 3 Ultra erreicht 23 Punkte gegen 58 beim führenden proprietären Modell.

Wer wechselt wirklich – und was

Die Zahlen von Futurum (von Techstrong unter Berufung auf Enterprise Technology Research berichtet; Stichprobe 200 überwiegend nordamerikanische Unternehmen): 42 Prozent betreiben offene Modelle produktiv, im Juli waren es 31 Prozent. Sie tragen im Schnitt 34 Prozent der Tokens, binnen eines Jahres erwarten die Befragten 41 Prozent. In einer separaten Futurum-Umfrage (100 Unternehmen, Oktober) machen offene Modelle zugleich nur 5 Prozent der gemessenen KI-Ausgaben aus, weil Selbsthosting keine Rechnung eines Anbieters erzeugt: Die Kosten wandern vom Token-Preis in Server und Personal. 93 Prozent der Produktionsnutzer sagen, ihre Nutzung proprietärer Modelle wachse weiter. Typisch ist also Arbeitsteilung: Offene Modelle erledigen Routine (51 Prozent ihrer Nutzung sind einfache Aufgaben), proprietäre die schwersten Fälle.

Aufschlussreich ist die Preisschwelle: Bei gleicher Leistung würden 66 Prozent der Produktionsnutzer eine Aufgabe schon für 25 Prozent Rabatt oder weniger verlagern.

Muss es der eigene Rechner sein?

Zwei Argumente werden oft vermischt. Datenschutz: OpenRouter hält die meisten Anforderungen auch ohne eigene Hardware für erfüllbar, über Anbieter mit garantierter Nicht-Speicherung und Regionsbindung. Zu beachten: Die Daten laufen weiter auf fremden GPUs. Wer verlangt, dass sie nie die eigene Hardware verlassen, muss selbst betreiben. Kontinuität: Laut XenoSpectrum setzte Anthropic im Juni nach einer US-Exportanweisung zwei Modelle für alle Kunden aus; eines war ab dem 1. Juli wieder verfügbar; offene Gewichte im eigenen Haus sind davor geschützt, nicht aber vor Lizenz- und Rechtspflichten. Mit der Hoheit kommt zudem Verantwortung: Sicherheitsupdates, Zugriffskontrolle und Missbrauchsüberwachung liegen beim Betreiber. Wie real das ist, zeigt llama.cpp 1.0 selbst: Laut Unite.AI geht das Release in seinem Server mehrere Sicherheitsprobleme an, darunter Server-Side Request Forgery und DNS-Rebinding. Ein lokaler Server ist nicht automatisch ein sicherer.

Fünf Entscheidungen für die kommende Woche

Erstens: Messen statt schätzen. Eine repräsentative Woche Tokenvolumen, Spitzenlast und Aufgabenqualität protokollieren. Das Volumen schätzen Teams laut LLMDeploy am schlechtesten; eine Abweichung um den Faktor drei verschiebe den Break-even stärker als jede Hardwarefrage.

Zweitens: Erst die API-Rechnung senken. Günstigeres Modell, Caching, Batch-Verarbeitung. Mehr zur Kostenkontrolle steht in unserer Reportage vom 6. November.

Drittens: Modell- und Hostingentscheidung trennen. Offene Gewichte lassen sich über eine API betreiben; um Modellwechsel und Abhängigkeit ging es in unserer gestrigen Reportage.

Viertens: Hybrid denken. Eigene Hardware für die gleichmäßige Grundlast, die API für Spitzen, wie Netzstrom neben der eigenen Solaranlage. Achten Sie auf gleiche Präzision lokal und in der Cloud und halten Sie ein Gespräch auf einer Seite, sonst gehen Zwischenspeicher verloren.

Fünftens: Den Business Case separat prüfen. Ob Infrastruktur günstiger ist, sagt nichts darüber, ob das KI-Projekt Wert schafft.

Was offen bleibt

Die Preise stammen von einem Stichtag und veralten schnell. OpenRouter und LLMDeploy verkaufen Produkte; die Umfragezahlen beschreiben vor allem den US-Markt und das Spitzenfeld. Gartner erwartet laut XenoSpectrum, dass die Inferenzkosten der Anbieter bis 2030 um über 90 Prozent sinken – was nicht heißt, dass Kundenpreise im gleichen Maß fallen, und Agenten verbrauchen weit mehr Tokens. Der eigene Betrieb ist für die meisten Firmen weder Pflicht noch Fehler, sondern eine Rechenaufgabe mit der Auslastung als wichtigster Variable.

Quellen