LLM selbst hosten: was dich ein Open-Weight-Modell auf Hetzner wirklich kostet — und wann die API billiger bleibt

Du überlegst, ein offenes Sprachmodell auf eigener Hardware zu betreiben — und willst vorher wissen, was das kostet. Hier ist die Rechnung, auf die alles hinausläuft: Ein GPU-Server, der die 70-Milliarden-Parameter-Klasse trägt, kostet bei Hetzner aktuell 1.197,30 € netto pro Monat plus 599 € Setup (Abruf: 18.08.2026). Dasselbe Modell, Llama 3.3 70B, bekommst du aus einem deutschen Rechenzentrum per API für 0,65 € pro Million Tokens.

Damit sich der eigene Server rein rechnerisch lohnt, musst du rund 1,8 Milliarden Tokens pro Monat verarbeiten: Das sind über zwei Millionen A4-Seiten Text. Monat für Monat.

Warum ich den Artikel trotzdem geschrieben habe: Die meisten Texte zu diesem Thema nennen entweder gar keine Zahlen oder falsche. Ich rechne dir den vollständigen Weg vor: Architektur, Hardware-Anforderungen, tagesaktuelle Hetzner-Preise, eine faire API-Vergleichsbasis und den Break-even als Formel. Am Ende kannst du selbst beurteilen, ob du zu den Ausnahmen gehörst, für die sich der eigene Server lohnt.

Selbst hosten heißt: Du betreibst die Inferenz eines fertigen Modells auf Hardware, die du kontrollierst. Vier Bausteine gehören dazu.

Open-Weight-Modell: Die Gewichte des Modells sind frei herunterladbar, meist über Hugging Face. Beispiele sind Mistral Small 3.2, Qwen3 oder Llama 3.3. Du trainierst nichts selbst: Du lädst ein fertiges Modell und betreibst es.

Inference-Server: Eine Software, die das Modell in den GPU-Speicher lädt und Anfragen beantwortet. Für Experimente reicht Ollama. Für den Produktivbetrieb mit mehreren gleichzeitigen Nutzern setzen wir auf vLLM: Es bündelt parallele Anfragen effizient und stellt eine OpenAI-kompatible Schnittstelle bereit.

GPU-Server: Gemietet statt gekauft. Ein dedizierter Server mit ausreichend Grafikspeicher, in diesem Artikel konkret die GEX-Reihe von Hetzner.

Anbindung: Deine Anwendungen sprechen den Server über die API-Schnittstelle an, genau wie sie einen externen Anbieter ansprechen würden. Dadurch bleibt der Wechsel zwischen API und eigenem Server technisch klein: Meist ist es eine geänderte URL und ein anderer Schlüssel.

Zum Bild gehört auch, was «produktionsreif» über diese vier Bausteine hinaus bedeutet: Zugriffsschutz vor dem Endpunkt, Monitoring für GPU-Auslastung und Antwortzeiten, geregelte Updates für Treiber und Inference-Server. Ein Modell zum Laufen zu bringen dauert einen Nachmittag. Es zwei Jahre zuverlässig zu betreiben ist die eigentliche Aufgabe, und genau diesen Unterschied unterschlagen viele Anleitungen.

Wichtig ist die Abgrenzung: Dieser Artikel behandelt den Betrieb, nicht das Training. Ob du überhaupt ein eigenes Modell brauchst oder ob API plus RAG reicht, klärt der Entscheidungsbaum in unserem Überblick zum eigenen KI-Modell. Und ob sich Fine-Tuning für deinen Fall rechnet, steht im Schwesterartikel LLM-Fine-Tuning: wann lohnt es sich.

Die wichtigste Kennzahl beim Selbsthosten ist nicht die CPU und nicht der Arbeitsspeicher: Es ist der Grafikspeicher (VRAM). Als Faustregel braucht ein Modell in voller bf16-Präzision rund zwei Byte pro Parameter. Mistral Small 3.2 mit 24 Milliarden Parametern belegt laut Model Card etwa 55 GB VRAM. Quantisierung auf 4 Bit drückt das auf grob ein Viertel, kostet aber messbar Qualität und begrenzt den nutzbaren Kontext.

20 GB VRAM (Hetzner GEX44): Hier läuft die 14B-Klasse komfortabel, etwa Qwen3-14B mit 14,8 Milliarden Parametern. Ein 24B-Modell passt nur quantisiert und mit kleinem Kontextfenster. Für ein Team, das lange Dokumente verarbeiten will, wird es eng.

96 GB VRAM (Hetzner GEX131): Erst diese Klasse trägt Llama 3.3 70B in quantisierter Form mit brauchbarem Kontext. Alternativ betreibst du darauf ein 24B-Modell in voller Präzision und bedienst viele parallele Nutzer.

Ein Detail, das in Tabellen gern fehlt: Die Gewichte sind nicht der einzige Speicherfresser. Jede laufende Anfrage belegt zusätzlich VRAM für ihren Kontext (den sogenannten KV-Cache), und der wächst mit Kontextlänge und Nutzerzahl. Ein Modell, das rechnerisch «gerade so passt», lässt deshalb kaum Luft für parallelen Betrieb. Plane also nicht auf Kante, sondern eine Klasse größer, als es die reine Gewichtsrechnung nahelegt.

Und die Sprachqualität auf Deutsch? Mistral Small, Qwen3 und Llama 3.3 sind alle mehrsprachig trainiert und für Alltagsaufgaben auf Deutsch brauchbar. Eine belastbare Rangfolge für deinen Anwendungsfall liefert aber kein Benchmark: Teste mit deinen eigenen Dokumenten und deinen eigenen Prompts, bevor du dich festlegst. Genau dafür ist die stündliche Miete da, zu der wir gleich kommen.

0 GB VRAM (CPU-Server): Zum Schluss das Gegenbeispiel. Strato bewirbt LLM-Hosting auf reinen CPU-Servern ab 16 € pro Monat und nennt als Richtwert «8 bis 15 Tokens pro Sekunde» — gemessen allerdings an einem quantisierten 7-Milliarden-Modell, also eine Klasse unterhalb von allem, was in diesem Artikel vorkommt (Abruf: 18.08.2026).

Und selbst diese Zahl beschreibt einen einzelnen, langsamen Antwortstrom. Für einen Einzelnutzer zum Ausprobieren mag das reichen. Für den Team-Betrieb ist CPU-Inferenz keine Option, und genau deshalb taucht in meinem Kostenvergleich keine CPU-Variante auf.

Alle Preise habe ich am 18.08.2026 direkt bei Hetzner geprüft, netto zuzüglich Umsatzsteuer.

GEX44-1: 232,30 € pro Monat plus 114,00 € Setup. Dafür bekommst du eine RTX 4000 SFF Ada mit 20 GB GDDR6 ECC, einen i5-13500, 64 GB RAM und zwei 1,92-TB-NVMe-SSDs. Traffic ist unlimitiert, Standort ist Falkenstein in Deutschland. Brutto sind das 276,44 € monatlich plus 135,66 € Setup.

GEX131-1: 1.197,30 € pro Monat plus 599,00 € Setup. Herzstück ist eine RTX PRO 6000 Blackwell Max-Q mit 96 GB GDDR7 ECC, dazu ein 24-Kern-Xeon und 256 GB RAM. Standorte sind Falkenstein und Helsinki, je nach Verfügbarkeit auch Nürnberg — alles EU. Brutto: 1.424,79 € plus 712,81 € Setup.

Zwei Dinge solltest du wissen, bevor du anderswo weiterliest. Erstens: Hetzner hat die Preise zum 15.06.2026 angehoben. Der GEX131 startete im Dezember 2025 noch mit 889 € netto ohne Setup-Gebühr; wer heute mit dieser Zahl rechnet, liegt rund ein Viertel zu niedrig. Zweitens: In manchen Vergleichsartikeln kursieren «Hetzner-Preise» für RTX-4090- oder A100-Server. Solche Produkte bietet Hetzner gar nicht an. Prüfe jede Zahl an der Quelle, meine eingeschlossen.

Nützlich fürs Testen: Den GEX131 gibt es auch mit stündlicher Abrechnung, laut Hetzners Bestell-API für 1,9188 € netto pro Stunde (Abruf: 18.08.2026). Du kannst also ein Wochenende lang messen, wie sich dein Anwendungsfall verhält, bevor du dich monatlich bindest. Ein kompletter Testtag kostet damit weniger als 50 €: Das ist die günstigste Versicherung gegen eine 1.200-€-Fehlentscheidung, die ich kenne.

Was in der Miete bereits steckt, wird beim Vergleich mit gekaufter Hardware oft übersehen: Strom, Kühlung, Anbindung, Hardware-Tausch bei Defekt und der unlimitierte Traffic sind enthalten. Eine eigene Workstation im Serverraum sieht auf dem Papier billiger aus, trägt diese Posten aber alle selbst.

Viele Vergleiche scheitern an dieser Stelle: Sie stellen den eigenen 14B-Server einer Frontier-API gegenüber. Das ist in beide Richtungen unfair, denn die Modelle spielen nicht in derselben Liga. Die saubere Vergleichsbasis lautet: dasselbe Modell, einmal selbst gehostet und einmal als API-Abruf.

Genau das erlaubt der IONOS AI Model Hub, der offene Modelle aus deutschen Rechenzentren anbietet (Preise vom 18.08.2026, netto): Llama 3.3 70B kostet dort 0,65 € pro Million Tokens, Input wie Output. Mistral Small 24B liegt bei 0,10 € für Input und 0,30 € für Output, Qwen 3.5-9B bei 0,10 € und 0,15 €.

Das ist dieselbe Modellklasse, die du auf dem GEX131 oder GEX44 selbst betreiben würdest: gleiche Qualität, gleiche EU-Verarbeitung, nur ohne eigenen Server.

Als internationale Preisreferenz: DeepInfra, ein US-Anbieter, listet Llama 3.3 70B für 0,10 $ Input und 0,32 $ Output, Mistral Small 24B für 0,05 $ und 0,08 $ (Abruf: 18.08.2026). Noch günstiger also. Wo DeepInfra seine Rechenzentren betreibt, dokumentiert der Anbieter allerdings nicht: Als DSGVO-Option führe ich ihn deshalb nicht, sondern nur als Beleg dafür, wohin sich API-Preise für offene Modelle weltweit bewegen.

Die EU-API ist aus einem zweiten Grund der richtige Maßstab: Sie neutralisiert einen Teil des Datenschutz-Arguments fürs Selbsthosten. Verarbeitung im deutschen Rechenzentrum mit Auftragsverarbeitungsvertrag bekommst du auch ohne eigenen Server. Wer den eigenen GPU-Server empfiehlt, muss also gegen diese Messlatte argumentieren, nicht gegen eine US-API.

Ein Hinweis zur Sorgfalt: API-Preise für offene Modelle bewegen sich schnell, alle genannten Zahlen gelten für den Abruftag. Für deine eigene Entscheidung ziehst du sie am besten frisch, die Preisseiten sind unten verlinkt.

Die Formel ist simpel: Break-even-Tokenvolumen pro Monat = monatliche Serverkosten netto ÷ API-Preis pro Million Tokens. Liegt dein tatsächliches Volumen darüber, spart der eigene Server Geld. Liegt es darunter, zahlst du drauf. Rechnen wir beide Hetzner-Optionen durch.

Beispiel 1, die 70B-Klasse: GEX131 für 1.197,30 € gegen Llama 3.3 70B bei IONOS für 0,65 € pro Million Tokens. 1.197,30 ÷ 0,65 ≈ 1.842 Millionen: Der Break-even liegt bei rund 1,84 Milliarden Tokens pro Monat. Die 599 € Setup und der Betriebsaufwand sind da noch gar nicht eingerechnet.

Beispiel 2, die Mittelklasse: GEX44 für 232,30 € gegen Mistral Small bei IONOS. Bei einer typischen Mischung von drei Teilen Input zu einem Teil Output ergibt sich ein Mischpreis von 0,15 € pro Million Tokens. 232,30 ÷ 0,15 ≈ 1.549 Millionen: Break-even bei rund 1,5 Milliarden Tokens pro Monat.

Das Muster fällt auf: Der kleinere Server ist zwar fünfmal billiger, aber die API-Preise der kleineren Modellklasse sinken im gleichen Maß. Der Break-even bleibt deshalb in beiden Klassen bei anderthalb bis zwei Milliarden Tokens. Es gibt keinen Trick, mit dem du ihn durch geschickte Hardware-Wahl auf ein erreichbares Volumen drückst.

Und was verbraucht ein Mittelständler real? Eine Modellrechnung: 50 Mitarbeiter stellen je 30 Anfragen pro Tag an einen internen Assistenten, jede Anfrage bewegt mit RAG-Kontext rund 2.000 Tokens. Das ergibt bei 21 Arbeitstagen etwa 63 Millionen Tokens pro Monat — Faktor 29 unter dem Break-even des GEX131. Als API-Rechnung bei IONOS: rund 41 € im Monat. Der eigene Server kostet das Dreißigfache.

Auch ein Batch-Szenario erreicht die Schwelle langsamer, als man denkt. Angenommen, du verschlagwortest jede Nacht 5.000 Dokumente mit je 3.000 Tokens: Das sind 15 Millionen Tokens pro Nacht, rund 450 Millionen im Monat. Immer noch nur ein Viertel des Break-evens der 70B-Klasse. Erst ab etwa 20.000 Dokumenten pro Nacht, jede Nacht, wird der eigene GEX131 rechnerisch günstiger als der API-Abruf.

Dazu kommt der Betrieb: Updates, Monitoring, gelegentliche Modellwechsel und das Nachziehen des Inference-Servers kosten in unserer Projektpraxis bei happycoding grob einen Arbeitstag pro Monat — ein Erfahrungswert, kein Naturgesetz. Rechnest du diesen Tag mit internen oder externen Stundensätzen ein, verschiebt sich der Break-even weiter zugunsten der API.

Diese Rechnung schmeichelt dem Server sogar noch. Nicht eingepreist ist die fehlende Ausfallsicherheit: Ein einzelner Server hat kein Failover, die API schon. Das Ergebnis lasse ich deshalb bewusst so stehen: Auf reiner Kostenbasis gewinnt die API für praktisch jeden Mittelständler. Wenn dir jemand pauschal erzählt, Selbsthosten lohne sich «ab 20 bis 30 Nutzern», frag nach der Formel dahinter.

Es gibt fünf Situationen, in denen der eigene Server trotz der Zahlen oben die richtige Entscheidung ist.

Vertraulichkeit: Deine Daten verlassen deine Infrastruktur nicht. Kein API-Anbieter loggt Prompts, kein zusätzlicher Auftragsverarbeiter sitzt zwischen dir und dem Modell. Für M&A-Unterlagen, Personaldaten mit Betriebsratsvorbehalt oder besondere Kategorien nach Art. 9 DSGVO ist das oft der entscheidende Punkt.

Kalkulierbare Fixkosten: 1.197,30 € pro Monat sind planbar, eine volumenabhängige API-Rechnung ist es nicht. Manche Budgetprozesse im Mittelstand bevorzugen die feste Zahl, selbst wenn sie höher liegt.

Echte Dauerlast: Wer nachts Bestandsdaten klassifiziert, Dokumentenarchive verschlagwortet oder ETL-Pipelines mit LLM-Schritten fährt, kommt tatsächlich an die Milliarde Tokens heran. Bei einer GPU, die rund um die Uhr ausgelastet ist, dreht sich die Rechnung: Dann wird der Festpreis zum Vorteil.

Vertragliche Pflichten: Manche Auftraggeber und Branchen schreiben On-Premises- oder Offline-Betrieb schlicht vor. Dann ist die Frage entschieden, bevor gerechnet wird.

Modellstabilität: Ein API-Anbieter kann Modelle austauschen, Preise ändern oder Produkte einstellen. Auf deinem Server läuft exakt die Modellversion, die du getestet und abgenommen hast, so lange du willst. Für Systeme mit dokumentierten Prüfläufen, etwa in regulierten Prozessen, ist diese Versionstreue mehr wert als jeder Preisvorteil.

Radikal ehrlich: Das sind Ausnahmen, keine Regel. In den meisten Projekten, die wir bei happycoding umsetzen, ist die EU-API der Standard und der eigene GPU-Server die begründete Ausnahme. Wie du diese Entscheidung in eine Gesamteinführung einbettest, beschreibt unser Leitfaden KI im Unternehmen einführen.

Vorab: Das hier ist eine technische Einordnung, keine Rechtsberatung. Drei Punkte lassen sich aber sauber auseinanderhalten.

Erstens, der Standort: Die Hetzner-Standorte Falkenstein, Nürnberg und Helsinki liegen in Deutschland und Finnland, also in der EU. Für die LLM-Verarbeitung selbst findet damit kein Drittlandtransfer statt.

Zweitens, die Reichweite dieser Aussage: Sie gilt nur für die LLM-Verarbeitung. Dein Gesamtsystem kann trotzdem Drittlandtransfers enthalten, etwa über Analytics, E-Mail-Dienste oder das CRM. Der eigene Modellserver heilt davon nichts.

Drittens, der Modell-Download: Dass du die Gewichte von Hugging Face beziehst, einem US-Unternehmen, ist kein personenbezogener Datentransfer. Du lädst Zahlenmatrizen herunter, es fließen dabei keine Kundendaten ab.

Zwischen US-API und eigenem Server gibt es außerdem den bereits gezeigten Mittelweg: die EU-API. Sie verlagert die Verarbeitung in ein deutsches Rechenzentrum mit Auftragsverarbeitungsvertrag, ohne dass du Hardware betreibst. Für viele Mittelständler ist das der pragmatische erste Schritt, mit dem sich die Drittlandtransfer-Frage genauso beantworten lässt.

Selbst hosten macht dich also nicht automatisch DSGVO-konform: Rechtsgrundlage, Auftragsverarbeitungsvertrag mit dem Hoster, gegebenenfalls eine Datenschutz-Folgenabschätzung und die Betroffenenrechte bleiben deine Aufgabe — genau wie die Transparenzpflichten aus Art. 50 der KI-Verordnung, die seit August 2026 unabhängig vom Hosting-Modell gelten. Die Praxisfragen dazu findest du in zwei eigenen Artikeln: im Praxisleitfaden zur DSGVO-konformen KI auf der Website und in der Einordnung zum EU AI Act für Software-Auftraggeber.

«Open Source» steht auf vielen Modellen, bedeutet aber Verschiedenes. Für den kommerziellen Betrieb solltest du drei Lizenzfamilien unterscheiden — und zwar bevor das Modell in Produktion geht, nicht danach. Ein Lizenzwechsel im laufenden Betrieb bedeutet sonst: Modell tauschen, Prompts neu testen, Abnahmen wiederholen.

Apache 2.0: Mistral Small 3.2 und Qwen3-14B stehen unter der Apache-Lizenz 2.0. Kommerzielle Nutzung ohne Sonderauflagen: keine Namenspflichten, keine Nutzungsgrenzen. Das ist die unkomplizierteste Wahl für den Mittelstand.

Llama 3.3 Community License: Kommerziell nutzbar, aber mit Auflagen (Lizenztext). Die bekannte 700-Millionen-Nutzer-Klausel trifft dich als Mittelständler nicht. Relevanter sind die Pflicht zum Hinweis «Built with Llama» und die Acceptable Use Policy, an die du dich vertraglich bindest.

Gemma Terms of Use: Googles Bedingungen (Stand 01.04.2026, Lizenztext) erlauben kommerzielle Nutzung, koppeln sie aber an eine Prohibited Use Policy und Weitergabepflichten. Achtung: Für Gemma 4 gelten separate Bedingungen, prüfe also immer die Version, die du einsetzt.

Der Betriebsvorteil lokaler Gewichte: Einmal heruntergeladen, bleiben sie unter der Lizenz nutzbar, unter der du sie bezogen hast. Niemand kann sie dir nachträglich abschalten. Wie real dieses Risiko bei gehosteten Diensten ist, zeigt gerade OpenAI: Das Unternehmen wickelt sein Self-Serve-Fine-Tuning bis Anfang 2027 vollständig ab, ohne Nachfolgeprodukt.

Wenn du das Thema für dein Unternehmen konkret machen willst, empfehle ich diese Reihenfolge. Erstens: Schätze dein Tokenvolumen mit der Formel aus diesem Artikel, ehrlich und pro Anwendungsfall. Zweitens: Starte mit einer EU-API wie dem IONOS AI Model Hub — du bekommst EU-Verarbeitung ohne Fixkosten und kannst später wechseln, weil die Schnittstellen kompatibel sind. Drittens: Miete einen GPU-Server erst, wenn nachgewiesene Dauerlast oder eine Vertraulichkeitspflicht dafür spricht, und teste vorher stundenweise.

Diese Reihenfolge kostet dich nichts an Optionen: Weil Modell und Schnittstelle gleich bleiben, ist der spätere Umzug vom API-Abruf auf den eigenen Server ein Infrastrukturwechsel, kein Neubau.

Meist ist das selbst gehostete Modell ohnehin nur ein Baustein: Der eigentliche Nutzen entsteht in den Prozessen drumherum, vom automatisierten Posteingang bis zur Dokumentenklassifikation. Wie wir solche Prozessautomatisierung mit n8n und individuellen Pipelines auf deiner Infrastruktur aufbauen, zeigen wir dir gern an deinem konkreten Fall — einen Einstieg gibt dir auch der Schwesterartikel zur Workflow-Automatisierung mit n8n auf EU-Infrastruktur.

Wenn du unsicher bist, ob API oder eigener Server zu deinem Fall passt: Buch dir ein kostenloses Erstgespräch. Wir rechnen dein Szenario in 30 Minuten gemeinsam durch, mit deinen Zahlen statt meiner Beispielwerte.