GPU Server kaufen: Leitfaden für KI-Training

Ein GPU Server ist ein Server, dessen Grafikprozessoren (GPUs) massiv parallele Rechenoperationen ausführen und damit Aufgaben wie KI-Training, Inferenz oder Rendering übernehmen. Anders als ein reiner CPU-Server verteilt er Tausende kleiner Rechenschritte gleichzeitig auf viele Kerne. Dieser Leitfaden zeigt, wann sich der Kauf lohnt, wie Sie VRAM, CPU und Kühlung auswählen und wie Sie typische Fehler vermeiden.

Was ist ein GPU Server und wann lohnt sich der Kauf?

Ein GPU Server ist ein Rechnersystem, in dem eine oder mehrere Grafikkarten über PCIe oder NVLink angebunden sind und eigene, schnelle Speicherbänke (VRAM) besitzen. Die CPU steuert Datenfluss und Vorverarbeitung, die GPU rechnet die Matrixoperationen. Genau diese Trennung macht den Unterschied zu einem klassischen CPU-Server.

Der Kauf lohnt sich, wenn Sie dauerhaft hohe Rechenlast fahren und volle Kontrolle über Treiber, CUDA-Version und Datenhaltung brauchen. Mieten Sie dagegen nur für kurze Projekte, zahlen Sie für Leerlauf mit. Ein eigener GPU Server amortisiert sich typischerweise, wenn die Karten über Monate ausgelastet sind. Eine Übersicht passender Konfigurationen finden Sie auf der Seite GPU Server.

GPU Server vs. CPU Server: der Unterschied in der Praxis

Ein CPU Server hat wenige Dutzend sehr flexible Kerne, ein GPU Server Tausende einfache Recheneinheiten mit hoher Speicherbandbreite. Für sequenzielle Logik, Datenbanken oder Webserver bleibt die CPU effizienter. Für neuronale Netze, Bild- und Videorendering oder Simulationen ist die GPU deutlich schneller.

Wann kaufen, wann mieten?

Kaufen Sie, wenn Daten das Haus nicht verlassen dürfen, die Auslastung dauerhaft hoch ist und Sie eigene Treiber- und CUDA-Versionen pflegen wollen. Mieten Sie, wenn Sie kurzfristig Kapazität für Experimente brauchen oder die optimale Kartenklasse erst testen möchten. Ein Zwischenweg ist ein gemieteter GPU Server mit vollem Root-Zugriff, den Sie später in eine dedizierte Konfiguration überführen.

Welche GPU und wie viel VRAM brauchen Sie für KI-Training?

Der VRAM ist die härteste Grenze beim KI-Training, weil Modellgewichte, Gradienten, Optimizer-Zustände und Aktivierungen gleichzeitig hineinpassen müssen. Reicht der Speicher nicht, bricht der Lauf mit einem CUDA-Fehler ab. Planen Sie deshalb zuerst den Speicherbedarf, dann die Rechenleistung.

Als Faustregel gilt: Je größer das Modell und je größer die Batch Size, desto mehr VRAM wird benötigt. Mixed Precision und Gradient Accumulation senken den Bedarf, kosten aber Zeit. Wer Modelle mit mehreren Milliarden Parametern trainiert, kommt um mehrere Karten mit hohem VRAM kaum herum.

VRAM-Bedarf grob einschätzen

1. Bestimmen Sie die Parameterzahl des Modells in Milliarden.
2. Multiplizieren Sie mit dem Speicherbedarf pro Parameter für Ihr Format (bei 16 Bit typischerweise zwei Byte).
3. Addieren Sie Reserven für Gradienten, Optimizer und Aktivierungen.
4. Vergleichen Sie die Summe mit dem VRAM pro Karte und planen Sie Sicherheitsreserve ein.

CUDA out of memory during training: was tun?

Die Meldung „CUDA out of memory during training“ bedeutet, dass der reservierte VRAM nicht ausreicht. Typische Gegenmaßnahmen sind eine kleinere Batch Size, Mixed Precision oder Gradient Accumulation. Prüfen Sie den tatsächlichen Verbrauch mit Werkzeugen wie nvidia-smi und beenden Sie verwaiste Prozesse.

nvidia-smi
nvidia-smi --query-gpu=index,name,memory.total,memory.used --format=csv

Häufige Fehlerquellen und weitere Maßnahmen beschreibt der Leitfaden GPU Server mieten: Leitfaden für KI-Training.

Warum ist die Kühlung beim GPU Server kaufen entscheidend?

GPUs wandeln einen großen Teil ihrer Leistungsaufnahme in Wärme um, die zuverlässig abgeführt werden muss. Steigt die Temperatur zu hoch, senken die Karten ihren Takt und die Trainingszeit wächst. Im Rechenzentrum übernehmen das Kaltgang-Warmgang-Trennung und gegebenenfalls Flüssigkeitskühlung.

Achten Sie beim Kauf darauf, dass die Kühlung zur Kartenanzahl und zur Leistungsdichte passt. Hohe Dichte pro Höheneinheit erfordert mehr Luftdurchsatz oder direkte Kühlung. Wie das im Detail funktioniert, erklärt der Ratgeber wie werden KI Server gekühlt.

Treiber und CUDA unter Ubuntu installieren

Ein GPU Server braucht passende Treiber und eine zum Framework kompatible CUDA-Version. Installieren Sie den NVIDIA-Treiber über die Paketquellen und prüfen Sie anschließend die Sichtbarkeit der Karten. So vermeiden Sie Versionskonflikte zwischen Treiber und Framework.

sudo apt update
sudo apt install -y nvidia-driver-550
sudo reboot
nvidia-smi

Nach dem Neustart zeigt nvidia-smi Treiberversion, Karten und den belegten VRAM an. Diese Ausgabe ist die erste Prüfung, ob der Server einsatzbereit ist.

Wie konfigurieren Sie einen GPU Server Schritt für Schritt?

Die Konfiguration folgt einem festen Ablauf: Bedarf festlegen, Hardware wählen, Software aufsetzen und den Lauf überwachen. Wer diese Reihenfolge einhält, vermeidet Nachkäufe und lange Fehlersuchen. Planen Sie außerdem Netzwerk, Datenträger und Backup von Anfang an mit.

Dokumentieren Sie jede Entscheidung, damit ein späterer Wechsel der Kartenklasse nachvollziehbar bleibt. Prüfen Sie vor dem Produktivbetrieb einen vollständigen Trainingslauf mit realistischer Datenmenge. Erst danach ist die Konfiguration belastbar.

Schritt 1: Bedarf und Modellgröße festlegen

1. Notieren Sie Modellgröße, Batch Size und Ziel-Trainingszeit.
2. Schätzen Sie den VRAM-Bedarf wie oben beschrieben.
3. Legen Sie fest, ob mehrere Karten parallel arbeiten sollen.
4. Bestimmen Sie, welche Datenmengen lokal gespeichert werden müssen.

Schritt 2: CPU, RAM und NVMe passend wählen

Die CPU muss die GPUs mit Daten versorgen, sonst warten sie auf Nachschub. NVMe-Speicher verkürzt die Ladezeiten großer Datensätze erheblich. Achten Sie auf genügend Arbeitsspeicher, damit das Vorladen der Batches nicht zum Flaschenhals wird.

lsblk -d -o NAME,ROTA,SIZE

Zeigt die Ausgabe bei ROTA den Wert 0, handelt es sich um einen nicht rotierenden Datenträger wie NVMe. Für Single-Core-lastige Vorverarbeitung kann zusätzlich ein Ryzen Server sinnvoll sein.

Schritt 3: Umgebung einrichten und Lauf überwachen

1. Treiber und CUDA installieren und mit nvidia-smi prüfen.
2. Framework in einer virtuellen Umgebung installieren.
3. Einen kurzen Testlauf mit kleinem Datensatz starten.
4. Temperatur, VRAM und Auslastung während des Laufs beobachten.

watch -n 2 nvidia-smi

Schritt 4: Skalierung und Kosten prüfen

Skalieren Sie zuerst über die Batch Size, dann über weitere Karten. Jede zusätzliche Karte erhöht Anschaffung, Strombedarf und KühlLast. Prüfen Sie daher, ob der Durchsatzgewinn den Aufwand rechtfertigt.

Praktisches Beispiel: Trainingsjob auf einem gemieteten GPU Server

Ein Team trainiert ein Bildklassifikationsmodell und erhält beim ersten Versuch „CUDA out of memory during training“. Statt sofort neue Hardware zu kaufen, senkt das Team die Batch Size, aktiviert Mixed Precision und prüft den Verbrauch mit nvidia-smi. Der Lauf startet daraufhin stabil.

Im zweiten Schritt misst das Team die Auslastung der Karten. Bleibt sie niedrig, während die CPU voll ausgelastet ist, liegt der Engpass in der Datenvorverarbeitung. Dann hilft mehr CPU-Leistung oder schnellere NVMe-Speicher, nicht eine größere GPU.

Erst wenn VRAM und Datenzufuhr passen und die Karten dauerhaft ausgelastet sind, lohnt der Wechsel auf eine größere Konfiguration. Für dauerhaft hohe Last ist ein GPU dedizierter Server die passende Wahl, weil die Karten exklusiv zur Verfügung stehen.

Häufig gestellte Fragen

Was ist ein GPU Server?

Ein GPU Server ist ein Server mit einer oder mehreren Grafikprozessoren, die parallele Rechenlasten wie KI-Training, Inferenz oder Rendering übernehmen. Die GPUs besitzen eigenen VRAM und rechnen Matrixoperationen deutlich schneller als eine CPU. Die CPU steuert Datenfluss und Vorverarbeitung, während die GPUs die Hauptlast tragen.

Wann lohnt sich GPU Server kaufen statt mieten?

Der Kauf lohnt sich, wenn die Karten über Monate dauerhaft ausgelastet sind, Daten im eigenen Haus bleiben müssen und Sie eigene Treiber- und CUDA-Versionen pflegen wollen. Bei kurzen Projekten oder Tests ist Mieten günstiger, weil Sie keine Hardware für Leerlaufzeiten bezahlen. Entscheidend ist die erwartete Auslastung über die Nutzungsdauer.

Wie behebe ich CUDA out of memory during training?

Reduzieren Sie zuerst die Batch Size und aktivieren Sie Mixed Precision, um den VRAM-Bedarf zu senken. Gradient Accumulation erlaubt größere effektive Batches bei kleinerem Speicherbedarf. Prüfen Sie mit nvidia-smi, ob verwaiste Prozesse VRAM belegen, und beenden Sie diese, bevor Sie neue Hardware in Betracht ziehen.

Wie installiere ich den NVIDIA Treiber unter Ubuntu?

Installieren Sie den Treiber aus den Paketquellen, starten Sie den Server neu und prüfen Sie die Ausgabe von nvidia-smi. Die Ausgabe zeigt Treiberversion, erkannte Karten und den belegten VRAM. Achten Sie darauf, dass die CUDA-Version zum verwendeten Framework passt, um Versionskonflikte zu vermeiden.

Welche GPU Server eignen sich für KI-Training?

Geeignet sind Konfigurationen mit ausreichend VRAM pro Karte, passender Kühlung und schneller NVMe-Anbindung. Die Kartenanzahl richtet sich nach Modellgröße und gewünschtem Durchsatz. Für Single-Core-lastige Vorverarbeitung kann ein Ryzen Server die GPUs sinnvoll ergänzen.

Fazit

Beim GPU Server kaufen entscheidet der VRAM über die mögliche Modellgröße, die Kartenanzahl über den Durchsatz und die Kühlung über die dauerhafte Leistung. Wer zuerst den Speicherbedarf schätzt und danach die Hardware wählt, vermeidet Fehlkäufe. Treiber, CUDA-Version und Datenzufuhr gehören ebenfalls in die Planung.

Prüfen Sie als nächsten Schritt Ihre Modellgröße und den geschätzten VRAM-Bedarf und vergleichen Sie diese Werte mit einer konkreten Konfiguration. Passende Optionen mit vollem Root-Zugriff, NVMe-Speicher und Einrichtung in etwa fünf Minuten finden Sie auf der Seite GPU Server.