Hetzner Inference: Ein erster Blick

Hetzner experimentiert mit LLM-Inference.

Das ist kein Satz, von dem ich gedacht hätte, dass ich ihn mal schreibe. Aber ich finde das Ganze ziemlich interessant :)

Bevor jetzt jemand seine produktiven AI-Workloads zu Hetzner umzieht: Das hier ist wirklich nur ein Experiment. Es gibt kein Billing, kein SLA, keine Production-Garantie und aktuell nur ein Modell. Hetzner will herausfinden, ob überhaupt Nachfrage besteht, wie gut das System skaliert, welche Features wichtig sind und wie viel Last es aushält.

Das ist also kein fertiger Product Launch. Hetzner stellt etwas sehr Frühes vor die Nutzer und schaut, was passiert. Großer Fan von dem Vorgehen!

Was ist Hetzner Inference?

Hetzner Inference ist eine OpenAI-kompatible API, die auf Hetzners eigener Infrastruktur läuft. Du erstellst im Experiments-Dashboard einen API-Token, richtest einen OpenAI-Client auf Hetzners Base URL und nutzt das Ganze wie die meisten anderen Inference-APIs.

Aktuell gibt es nur ein Modell: Qwen/Qwen3.6-35B-A3B-FP8. Das ist ein Mixture-of-Experts-Modell mit insgesamt 35 Milliarden Parametern, von denen 3 Milliarden aktiv sind. Es unterstützt Text und Bilder, hat ein Context Window von 262K und nutzt FP8-quantisierte Weights.

Für ein Experiment ist das ein absolut sinnvolles Modell. Es ist klein genug, dass du dafür kein absurdes GPU Cluster brauchst, aber nützlich genug, um die API mit echten Workloads zu testen.

Hetzner hat außerdem ein kurzes Tutorial veröffentlicht, das OpenCode mit der API verbindet. Damit kannst du das Ganze ausprobieren, ohne selbst Code zu schreiben.

Ich habe es ausprobiert

Weil die API OpenAI-kompatibel ist, gibt es bei der Integration fast nichts Besonderes:

pip install openai

from openai import OpenAI

client = OpenAI(
    base_url="https://inference.hetzner.com/api/v1",
    api_key="YOUR_TOKEN",
)

response = client.chat.completions.create(
    model="Qwen/Qwen3.6-35B-A3B-FP8",
    messages=[
        {"role": "user", "content": "Explain why the sky is blue in one sentence."}
    ],
    extra_body={
        "chat_template_kwargs": {
            "enable_thinking": False,
        }
    },
)

print(response.choices[0].message.content)

Die Option enable_thinking ist erwähnenswert. Ohne sie kann das Modell überraschend viel vom Completion Budget fürs Reasoning verbrauchen, bevor du überhaupt eine sichtbare Antwort bekommst. In meinen Tests hat die Option funktioniert. Hetzner dokumentiert sie aber nicht, deshalb würde ich noch nichts Wichtiges auf genau diesem Request-Format aufbauen.

Ich habe am 23. Juli 2026 ein paar kleine Tests gemacht. Ich will daraus keinen riesigen Benchmark-Report machen. Das Produkt ist experimentell und jeder Benchmark dürfte ziemlich schnell veraltet sein. Die groben Zahlen:

• 153 ms mediane Time to First Token bei sieben kurzen Requests über eine bereits offene Connection
• 224 Output Tokens pro Sekunde bei fünf längeren Generations mit einem Limit von jeweils 512 Tokens

Das ist schnell! Es war aber auch nur ein Test von einem Client zu einem bestimmten Zeitpunkt. Die Zahlen sind kein SLA und sagen fast nichts darüber aus, was passiert, wenn viele Leute den Service gleichzeitig nutzen.

Das Modell selbst war ungefähr das, was ich erwartet habe. Es hat die meisten Formatierungs- und Retrieval-Anweisungen befolgt, ein Bild korrekt verarbeitet und zwei sehr einfache Rechenaufgaben falsch beantwortet. Also: ein kleines, etwas beschissenes LLM :D

Das Produkt ist interessanter als das Modell

Der Qwen-Endpoint macht Spaß, aber ich glaube nicht, dass das aktuelle Modell der interessante Teil ist.

Viel interessanter ist die Frage, warum Hetzner überhaupt mit Inference experimentiert.

Alles ab hier ist reine Spekulation. Ich habe keine Insider-Informationen und niemand bei Hetzner hat mir erzählt, was sie planen. Ich schaue mir nur das Produkt an und versuche den Sinn dahinter zu verstehen.

Open-Weight-Inference ist ein Commodity-Markt. Jeder kann dieselben Weights herunterladen, mehr oder weniger dieselbe Serving-Software nutzen und eine OpenAI-kompatible API davor setzen. Zwischen den Providern zu wechseln ist ebenfalls einfach, besonders mit Produkten wie OpenRouter oder einem selbst gehosteten LiteLLM.

Damit ist es schwer, hohe Margen zu erzielen, solange du keinen echten Vorteil hast. Normalerweise bedeutet das:

• du kannst GPU-Hardware sehr günstig kaufen und betreiben;
• du bist außergewöhnlich gut darin, diese Hardware auszulasten;
• oder du besitzt bereits GPUs, die sonst ungenutzt auf Kunden warten würden.

Hetzner ist sehr gut darin, Hardware zu kaufen, in die eigenen Rechenzentren zu stellen und mit einer brutal effizienten Kostenstruktur zu betreiben. Das ist im Grunde die ganze Firma. Wenn jemand aus Inference ein weiteres Infrastrukturprodukt mit niedrigen Margen machen kann, dann ist Hetzner zumindest ein glaubwürdiger Kandidat.

Auch bei der Auslastung ergibt das Ganze Sinn. Ein vermieteter Bare-Metal-GPU-Server gehört einem Kunden, egal ob er ihn gerade nutzt oder nicht. Eine Inference-API kann GPU-Kapazität auf viele Nutzer verteilen und die Hardware besser auslasten. Falls Hetzner freie GPU-Kapazitäten hat oder eine deutlich größere GPU-Flotte plant, könnte ein Inference-Produkt daraus Umsatz machen.

Nochmal: Ich habe keine Ahnung, ob Hetzner tatsächlich genau das vorhat. Für mich würde es wirtschaftlich einfach Sinn ergeben.

Die große Frage ist die Hardware

Hier bin ich noch nicht überzeugt.

Hetzners aktuelles öffentliches Angebot an Dedicated GPU Servern nutzt zwei GPU-Typen:

• NVIDIA RTX 4000 SFF Ada Generation mit 20 GB VRAM
• NVIDIA RTX PRO 6000 Blackwell Max-Q mit 96 GB VRAM

Das sind leistungsfähige GPUs. Die RTX PRO 6000 mit 96 GB ist eine ziemlich gute Inference-Maschine für kleine und mittelgroße Modelle. Die FP8-Dateien von Hetzners aktuellem Qwen-Modell sind knapp 38 GB groß. Der tatsächliche VRAM-Verbrauch liegt je nach Context Length, Cache-Größe und Serving-Setup darüber.

Aber das sind Workstation-GPUs und nicht die dichten Multi-GPU-Systeme, die du für wirklich große offene Modelle brauchst.

Nimm GLM-5 als extremes Beispiel. Es hat 754 Milliarden Parameter und das offizielle Serving-Rezept verteilt es auf acht GPUs. Selbst mit aggressiver Quantisierung reden wir hier über Hunderte Gigabyte VRAM. Realistisch brauchst du Hardware der B200/B300-Klasse oder etwas Vergleichbares, mit sehr schnellen Verbindungen zwischen mehreren GPUs.

Solche Hardware bietet Hetzner aktuell nicht öffentlich als Bare-Metal-Server an.

Natürlich sagt das nichts darüber aus, was hinter der experimentellen API läuft. Hetzner könnte intern komplett andere Hardware nutzen. Ein öffentliches Inference-Produkt muss außerdem nicht dasselbe Angebot abbilden wie der Dedicated-Server-Katalog.

Trotzdem ist das der Teil, den ich im Auge behalte.

Wenn Hetzner weiterhin nur ein oder zwei kleinere Modelle anbietet, sehe ich ehrlich gesagt nicht, wie daraus ein wichtiger Inference-Provider werden soll. Dann wäre es ein cooles Experiment, aber nicht viel mehr.

Falls dieses Experiment aber der erste Schritt zu größeren GPU Clustern, einem richtigen Modellkatalog und Hardware der B200/B300-Klasse ist, wird es deutlich interessanter. Hetzner hat bereits die Datacenter, das Netzwerk, die Hardware-Erfahrung, die europäische Positionierung und den Ruf für aggressive Preise. Diese Kombination könnte Hetzner zu einem ernsthaften Konkurrenten machen.

Aktuell ist die API schnell, kostenlos und macht Spaß beim Ausprobieren. Die nächste Hardware/Modell-Ankündigung wird uns deutlich mehr verraten als ein weiteres kleines Modell!

Cheers,

Jonas