KAYTUS

Der Energiebedarf von KI-Rechenzentren, sogenannten AI Factories, steigt weiter an. Der IT-Branchenverband Bitkom geht davon aus, dass die KI-basierte Recheninfrastruktur in Deutschland bis 2030 von derzeit rund 530 MW auf etwa 2.020 MW anwachsen und damit ihr Anteil an der gesamten Rechenzentrumskapazität in Deutschland von etwa 15 % auf 40 % steigen wird[1]. Gleichzeitig werden Energiekosten und Nachhaltigkeitsanforderungen zu realen Einschränkungen bei jedem Ausbau von Rechenzentren in Europa. KI-Infrastruktur-Anbieter KAYTUS erläutert, welche Kernbereiche zur Optimierung der Energienutzung beachtet werden sollten.

Für Rechenzentrumsbetreiber verändert dies die Art und Weise, wie sie ihre Energieeffizienz messen. Die Reduzierung des Stromverbrauchs eines Rechenzentrums ist nach wie vor wichtig. Ein niedriger PUE-Wert (Power Usage Effectiveness) allein gibt jedoch keinen Aufschluss darüber, ob die reduzierte Energiemenge tatsächlich in nutzbare Rechenleistung umgewandelt wird. Bei einem fixen Strombudget kann die durch einen dann nicht voll ausgelasteten GPU-Cluster verlorene Wertschöpfung sogar höhere Verluste verursachen als Ineffizienzen in Hilfsanlagen. Infolgedessen verlagert sich das entscheidende Ziel hin zur Maximierung der pro Megawatt erzeugten nutzbaren KI-Rechenleistung.

Allerdings erfordert die Maximierung der KI-Leistung eine einheitliche Verwaltung von Rechenleistung, Netzwerk, Stromversorgung und Flüssigkeitskühlung auf Rack- und Cluster-Ebene, anstatt einzelne Komponenten isoliert zu optimieren. Dieser Ansatz verknüpft den Status der IT-Infrastruktur mit der Planung anfallender KI-Workloads und passt die Kühlkapazität an den tatsächlichen Wärmeabfuhrbedarf an, wodurch eine Adaption an sich dynamisch ändernde KI-Workloads ermöglicht wird.

KI-Systeme auf Rack-Ebene brauchen neues Infrastrukturmanagement

Die entscheidende Frage ist nicht mehr nur, wie viel Strom ein Rechenzentrum verbraucht, sondern ob die verwendete Energie tatsächlich in KI-Rechenleistung umgewandelt wird. Dieses Thema ist eng mit dem Wandel der KI-Infrastruktur verbunden. Da sich die KI-Infrastruktur von eigenständigen Servern hin zu kompletten Rack-Scale-Computing-Systemen wie dem GB300 NVL72 entwickelt, funktionieren GPUs, CPUs, Hochgeschwindigkeitsnetzwerke, die zentrale Stromversorgung und die Flüssigkeitskühlung nicht mehr als relativ unabhängige Komponenten. Stattdessen bilden sie gemeinsam ein stark gekoppeltes Rechensystem.

In einem solchen System kann eine ungleiche Aufgabenverteilung zu einer Überlastung bestimmter Knoten führen; zudem wirken sich Änderungen der Rechenlast direkt auf den Stromverbrauch und den Kühlbedarf aus. Ein Problem in einer einzelnen Verbindung kann die KI-Rechenleistung des gesamten Racks beeinträchtigen. Folglich haben KI-Systeme auf Rack-Ebene die Art und Weise verändert, wie KI-Infrastrukturen organisiert werden. Das Infrastrukturmanagement muss auf die Rack- und Cluster-Ebene verlagert werden, um zu beobachten, wie verschiedene Ressourcen koordiniert zusammenwirken und KI-Aufgaben gemeinsam beeinflussen.

Vor diesem Hintergrund weisen traditionelle KI-Infrastruktur- und Verwaltungsmodelle drei wesentliche Einschränkungen auf:

·       Kennzahlen auf Anlagenebene geben keinen Aufschluss darüber, ob Strom in nutzbare Rechenkapazität umgewandelt wird oder nicht.

·       Durch die Überwachung einzelner Geräte können Anwender systemweite Engpässe nicht erkennen und leiden unter einem eingeschränkten Überblick sowie mangelnder Transparenz.

·       IT- und Kühlsysteme arbeiten in der Regel mit getrennten Datensätzen und Steuerungslogiken – was wiederum einen zentralen Überblick verhindert.

Bei der Verlagerung des KI-Infrastrukturmanagements auf eine höhere Ebene geht es nicht nur darum, mehr Geräte an dieselbe Überwachungsschnittstelle anzuschließen. Vielmehr bedeutet dies, Energieflüsse, Ressourcenstatus und Task-Durchführung miteinander zu verknüpfen – um zu erkennen, an welcher Stelle der Strom nicht in die erwartete KI-Leistung umgewandelt wird, und Ressourcen sowie Kühlkapazität entsprechend anzupassen.

Zwei Wege zur Verbesserung der KI-Leistung pro Leistungseinheit

Vor dem Hintergrund der gängigen Designstandards für KI-Racks gibt es zwei Kernbereiche zur Optimierung der Energienutzung bei kompletten KI-Rack-Scale-Systemen. Erstens: die Steigerung der Rechenleistung pro Megawatt durch Transparenz und einheitliches Management und zweitens: die präzise Steuerung der Wärmeableitung durch ein flexibles Flüssigkeitskühlsystem.

Um die Rechenleistung pro Megawatt zu steigern, benötigen KI-Fabriken eine Rack-Management-Plattform mit einer systematischen IT-Architektur, die die Bereiche Überwachung, Alarmierung, Planung und Analyse abdeckt. Das System sollte folgende Funktionen bieten:

·       Vollständige Transparenz aller Ressourcen innerhalb der KI-Racks: Durch die Erfassung mehrdimensionaler Betriebskennzahlen in Echtzeit – wie GPU-/CPU-Auslastung, Belegung des Videospeichers, Netzwerkbandbreite, Festplatten-E/A, Geräte-Leistungsaufnahme in Echtzeit und Auslastung der Stromversorgung – kann die Lösung brachliegende Rechenressourcen und überlastete Knoten (Engpässe) genau identifizieren.

·       Festlegung von Schwellenwerten für Kapazitätswarnungen: So können beispielsweise GPUs mit einer Auslastung unter 15 % als im Leerlauf befindlich gekennzeichnet werden, während eine Auslastung von über 60 % eine Überlastungswarnung auslöst. Die Lösung führt eine kontinuierliche Überwachung rund um die Uhr durch und gibt bei Schwellenwertüberschreitungen automatisch Warnmeldungen aus, wodurch sie eine präzise Datengrundlage für die Workload-Optimierung liefert.

·       Verwaltung von inaktiven oder überlasteten Knoten: Durch die Option einer Workload-Migration auf inaktive GPU-Knoten ermöglicht die Lösung die Planung von Aufgaben außerhalb der Spitzenzeiten und die gemeinsame Zuweisung von Rechenressourcen.

·       Unterstützung einer korrelativen Attributionsanalyse: Die Lösung liefert Einblicke in den Zusammenhang zwischen Rechenleistung und Energieverbrauch und bietet so datengestützte Erkenntnisse für die Hardware-Beschaffung im Unternehmen, die Clustererweiterung und die Planung der Aufgabenverteilung.

Bei der präzisen Steuerung der Wärmeabgabe muss berücksichtigt werden, dass das Training großer Sprachmodelle (LLMs) extrem schwankende Rechenlasten erzeugt, wodurch die Clusterkapazität innerhalb von Sekunden zwischen Leerlauf und Volllast schwankt. Herkömmliche Flüssigkeitskühlungen basieren auf festen Kühlmittel-Durchflussraten sowie konstanten Pumpendrehzahlen und verhindern eine dynamische Anpassung der Kühlleistung an die GPU-Leistung. Die Lösung liegt in:

·       Dynamischer, arbeitslastbasierter Kühlung: Ein dynamisches, arbeitslastbasiertes Flüssigkeitskühlsystem kann die Kühlungsanforderungen flexibel an den Bedarf anpassen, was nicht nur den unnötigen Energieverbrauch durch Pumpeneinheiten und Kühlstationen reduziert, sondern auch die Leistung sowie die Zuverlässigkeit des Rechenzentrumssystems verbessert und gleichzeitig dessen Lebensdauer verlängert.

Modernes Energiemanagement auf Rack-Ebene

„Für KI-Rechenzentren geht die Herausforderung über die bloße Reduzierung des Stromverbrauchs einzelner Geräte hinaus. Vielmehr müssen Betreiber die Umwandlung immer begrenzterer Stromkapazitäten in nutzbare Workloads für Training, Inferenz und Hochleistungsrechnen maximieren – trotz begrenzter Netzkapazitäten, gestaffelter Strompreise und strengerer Nachhaltigkeitsanforderungen“, erklärt Darren Cox, General Manager for Europe bei KAYTUS.

Intelligente Infrastrukturmanagement-Plattformen für KI-Fabriken, wie beispielsweise „KSManage“, und die KAYTUS Lösung MotusAI ermöglichen ein umfassendes Management der Infrastruktur von KI-Rechenzentren. KSManage deckt den gesamten Prozess ab – von der Erfassung der Rechenanlagen und der Visualisierung der Ressourcen bis hin zur Zustandsüberwachung und Fehlerdiagnose. Die Plattform verfügt über ein einheitliches, kollaboratives Steuerungssystem für Rechenleistung und Flüssigkeitskühlung, das bidirektionale Datenverbindungen zwischen den BMCs der Server und den CDUs (Coolant Distribution Units) herstellt. MotusAI, eine KI-DevOps-Plattform, integriert GPU- und Datenressourcen sowie KI-Umgebungen, um die Ressourcenzuweisung und die Aufgabenkoordination für KI-Anwendungen zu optimieren.

„Durch die Kombination aus vollständiger Ressourcentransparenz und lastadaptiver Kühlungssteuerung mit fortschrittlicher GPU-Planung werden ungenutzte Kapazitäten beseitigt und der Energieverlust durch Überkühlung und nicht ausgelastete Knoten reduziert“, ergänzt Darren Cox. „Das Ergebnis ist eine messbar höhere KI-Leistung pro Megawatt und eine nachhaltigere Energiebilanz für das Rechenzentrum.“

Die Entwicklung vom isolierten Management zu einer intelligenten, lebenszyklusübergreifenden Steuerung von Rechenzentren gewährleistet bei der richtigen Kombination aus Hardware und Software ein energieeffizientes und leistungssteigerndes Management von KI-Fabriken.

[1] (Study by the Borderstep Institute commissioned by Bitkom)