Mach Platz LLaMA: Tencents Neues Open LLM ist Bereit für Selbsthosting

Tencent hat gerade ein neues Open-Source-Modell namens Hunyuan-A13B-Instruct veröffentlicht. Es hat offene Gewichte (nicht sicher über den Code) und läuft lokal (naja, wenn du eine B200 GPU hast). Wenn du neugierig bist, wie es funktioniert, und es selbst ausprobieren möchtest, erfährst du hier, wie du es in wenigen Minuten auf einer gemieteten GPU einrichtest.

Was ist Hunyuan-A13B?

Hunyuan-A13B ist ein Mixture-of-Experts (MoE)-Modell mit 80 Milliarden Gesamtparametern, von denen jedoch nur 13 Milliarden aktiv sind. Das bedeutet, dass die Inferenz viel günstiger ist als bei einem vollen dichten Modell.

Mixture-of-Experts (MoE) ist eine neuronale Netzwerkarchitektur, bei der nur ein Teil der spezialisierten "Expert"-Sub-Netzwerke für jede Eingabe aktiviert wird, was die Rechenleistung reduziert und die Modellkapazität erhöht. Ein Gate-Mechanismus wählt dynamisch aus, welche Experten basierend auf der Eingabe verwendet werden, sodass das Modell effizient skalieren kann, ohne immer alle Parameter zu verwenden.

Einige Highlights:

• Unterstützt 256k Kontext von Haus aus
• Schnelle und langsame Denkmuster
• Grouped Query Attention (GQA) für effizientere Inferenz
• Agentenorientierte Feinabstimmung, mit Benchmark-Ergebnissen auf BFCL-v3 und τ-Bench
• Quantisierungsunterstützung, einschließlich GPTQ

Bisher sieht es wie ein solider Kandidat für lokale Experimente aus, besonders für langanhaltende oder agentenähnliche Aufgaben. Ich teste noch, wie es im Vergleich zu anderen Modellen wie LLaMA 3, Mixtral und Claude 3 abschneidet.

Schritt 1: Erstelle eine RunPod Instanz

Der einfachste Weg, es auszuprobieren, ist RunPod (Dieser Link gibt dir zwischen $5 und $500 Credits!). Du benötigst:

• Ein 300 GB Netzwerkvolumen
• Eine B200 GPU (ich glaube nicht, dass weniger funktioniert, du benötigst ~150GB VRAM)
• Ein unterstütztes PyTorch-Image

Erstelle ein Netzwerkvolumen

• Region: nutze eine, wo B200 verfügbar ist (derzeit eu-ro-1)
• Größe: 300 GB
• Kosten: ca. $21/Monat (abrechnung auch wenn ungenutzt)

Erstelle ein Pod

• GPU-Typ: B200
• Image: runpod/pytorch:2.8.0-py3.11-cuda12.8.1-cudnn-devel-ubuntu22.04 ⚠️ Frühere Versionen funktionierten bei meinem Testen nicht
• GPU-Anzahl: 1
• Aktiviere SSH + Jupyter
• Verbinde dein Netzwerkvolumen

Schritt 2: Installiere Abhängigkeiten

Im Notebook-Terminal:

%pip install transformers tiktoken accelerate gptqmodel optimum

Schritt 3: Lade das Modell

Lege den Cache-Pfad fest, sodass Downloads ins gemountete Volumen statt ins Standard-Root-Verzeichnis gehen:

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
import os
import re

os.environ['HF_HOME'] = '/workspace/hf-cache'
model_path = 'tencent/Hunyuan-A13B-Instruct'

tokenizer = AutoTokenizer.from_pretrained(model_path, local_files_only=False, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_path, cache_dir='/workspace/hf-cache/', local_files_only=False, device_map="auto", torch_dtype=torch.bfloat16, trust_remote_code=True)

messages = [
  {
  "role": "user",
  "content": "What does the frog say?"
  },
]

tokenized_chat = tokenizer.apply_chat_template(messages, tokenize=True, return_tensors="pt",
                                                  enable_thinking=True
                                              )

outputs = model.generate(tokenized_chat.to(model.device), max_new_tokens=5000)
output_text = tokenizer.decode(outputs[0])
print(output_text)

Anmerkungen:

• Der erste Lauf wird ~150 GB an Gewichten herunterladen
• VRAM-Nutzung beträgt ~153 GB während der Inferenz
• Das Laden in den VRAM dauert ein paar Minuten
• Wenn die GPU-Auslastung (nicht nur VRAM) steigt, läuft es
• Du kannst device_map="cpu" einstellen, wenn du nur auf der CPU testen möchtest. Stelle sicher, dass du etwa 200 GB RAM und eine gute CPU hast

Kosten

• B200-Pod: $6.39/Stunde
• Netzwerkvolumen: $21/Monat, auch wenn es nicht genutzt wird
• Vorschlag: Fahre das Pod runter, wenn es nicht benutzt wird x)

Tooling Hinweise

• llama.cpp Unterstützung ist noch nicht vorhanden. PR in Arbeit: #14425
• Funktioniert gut in Python mit transformers und bfloat16

Benchmark

Die offiziellen Benchmarks sind auf Hugging Face verfügbar und wurden vom TRT-LLM-Backend evaluiert.

Hunyuan-A13B-Instruct hat über mehrere Benchmarks hinweg hoch konkurrierende Leistungen erreicht, insbesondere in Mathematik, Wissenschaft, Agentendomänen und mehr. Wir haben es mit mehreren leistungsstarken Modellen verglichen, und die Ergebnisse sind unten gezeigt. - Tencent

Fazit

Dies ist eines der interessanteren offenen MoE-Modelle, die derzeit verfügbar sind. Es unterstützt lange Kontexte, hat einige durchdachte Designentscheidungen, und es ist leicht genug auszuführen. Ich bewerte noch, wie gut es tatsächlich ist, insbesondere im Vergleich zu Modellen wie Mistral Magistral und anderen aktuellen Modellen. Wenn du es selbst testen möchtest, bringt dich diese Einrichtung schnell ans Ziel.

Prost,

Jonas, Mitgründer von sliplane.io