GPUStack: bündelt GPUs verschiedener Hersteller zum KI-Cluster OpenAI-kompatible API für Nvidia, AMD und Ascend

Anbieter zum Thema

Portus Data Centers

Vertiv GmbH

EPS Rechenzentrum Infrastruktur GmbH

GPUStack fasst verstreute Grafikkarten und KI-Beschleuniger zu einem gemeinsamen Cluster zusammen und stellt darauf große Sprachmodelle bereit. Das quelloffene Projekt richtet sich an Betreiber, die eigene Modelle im Rechenzentrum ausführen und dabei Hardware mehrerer Hersteller mischen.

Rechenzentren betreiben Sprachmodelle zunehmend selbst, statt sie aus der Public Cloud zu beziehen. GPUStack verbindet einzelne Server mit ihren Beschleunigern zu einem Pool, den ein Administrator zentral steuert. Das Apache-lizenzierte Projekt verteilt Modelle automatisch auf freie Karten und stellt sie über eine einheitliche Schnittstelle bereit. Anwendungen sprechen den Cluster über eine OpenAI-kompatible API an und bleiben damit unabhängig vom darunterliegenden Server. Ein Wechsel von einer Cloud-Schnittstelle auf den eigenen Betrieb verlangt so kaum Anpassung im Code.

Gemischte Hardware in einem Pool

Der Scheduler ordnet jedes Modell der passenden Hardware zu und berücksichtigt dabei freien Speicher und Rechenleistung. GPUStack bindet neben Nvidia-GPUs auch AMD-Karten und Ascend-NPUs ein, dazu weitere Beschleuniger aus dem asiatischen Markt. Für die eigentliche Inferenz greift das Projekt auf bewährte Laufzeiten zurück, darunter vLLM, SGLang und TensorRT-LLM. Große Modelle, die nicht auf eine einzelne Karte passen, verteilt die Software über mehrere GPUs und bei Bedarf über mehrere Knoten hinweg. So läuft auch ein Modell mit hohem Speicherbedarf über kleinere Karten verteilt.

Der Pool endet nicht am einzelnen Standort. GPUStack verwaltet mehrere Cluster gemeinsam und spannt sich über eigene Server, Kubernetes-Umgebungen und Cloud-Ressourcen. Ein Administrator sieht die Auslastung aller Knoten an einer Oberfläche und schiebt Modelle zwischen den Ebenen. Damit verbindet das Projekt die Einfachheit eines Einzelrechners mit der Reichweite einer verteilten Umgebung, ohne dass ein Betreiber gleich eine vollständige Container-Plattform aufsetzt.

Betrieb im Rechenzentrum

Ein integrierter Modellkatalog nimmt dem Administrator die Konfiguration ab und liefert vorbereitete Profile für gängige Sprachmodelle. Über Dashboards auf Basis von Prometheus und Grafana behält der Betrieb Auslastung und Durchsatz im Blick. Eine Verbrauchsmessung protokolliert Token und Anfragen je Nutzer und stützt damit die interne Verrechnung. Für höheren Durchsatz greift GPUStack auf Zwischenspeicher für den KV-Cache und auf spekulative Dekodierung zurück, die mehrere Token je Schritt vorhersagt.

Das jüngste Release von Ende Juli 2026 schließt mehrere Sicherheitslücken, darunter Schwächen in der Rechteprüfung und in der SAML-Anmeldung. Betreiber älterer Installationen sollten daher zeitnah aktualisieren, denn die Lücken erlauben unter Umständen Zugriff über Nutzergrenzen hinweg. Der gleiche Sprung erweitert den Modellkatalog um frische Sprach- und Bildmodelle und verfeinert die Abrechnung je GPU-Instanz.

Fazit

GPUStack senkt die Hürde, Sprachmodelle auf eigener Hardware zu fahren, und hält den Betrieb auch bei gemischten Beschleunigern übersichtlich. Für Rechenzentren mit wachsender GPU-Flotte ordnet die Software Modelle, Zugriffe und Verbrauch an einer Stelle. Die offene Lizenz und das OpenAI-kompatible API halten den Cluster anschlussfähig an vorhandene Anwendungen.

(ID:50923547)