Kühlstrategie für KI-Rechenzentren Wann macht sich Liquid Cooling wirklich bezahlt?

Anbieter zum Thema

Supermicro Germany

Vertiv GmbH

DeRZ - Deutsche Rechenzentren GmbH

Rear-Door Heat Exchanger und hybride Kühlkonzepte können eine Alternative zur vollständigen Umrüstung sein. Ob sich die Nachrüstung rechnet, hängt von der Rack-Dichte und den vorhandenen Kühlreserven ab.

Rechenzentrumsteams stehen vor der Herausforderung, immer dichtere KI-Infrastrukturen zu unterstützen und gleichzeitig den Stromverbrauch, die Kühlung und die Betriebskosten im Griff zu behalten. Dieser Balanceakt wird mit jeder neuen GPU- und Beschleuniger-Generation schwieriger.

Rundgang bei Equinix in Frankfurt – „FR6“

Direct-to-Chip-Kühlung – So baut Equinix die Infrastruktur auf

Die Frage ist nicht mehr, ob Liquid Cooling mehr Wärme abführen kann als Luftkühlung, sondern wann sich der Umstieg wirtschaftlich rechtfertigt und welches Kühlmodell zu Anlage, Workload und Wachstumsplan passt. Die technischen Vorteile von Liquid Cooling in Hochleistungsdichte-Umgebungen sind unstrittig, dennoch braucht die Rechtfertigung der Investitionsausgaben (CapEx) einen soliden ROI-Rahmen.

1. KI-Workloads verändern die Anforderungen an die Kühlung

Jahrzehntelang waren Rechenzentren auf eine Leistung von 5 bis 15 kW pro Rack ausgelegt. Diese Werte konnten durch klassische Luftkühlung mit Doppelboden und Warm-/Kaltgang-Einhausung effizient bewältigt werden. Das Wachstum von KI- und Machine-Learning-Workloads hat durch den höheren Energiebedarf moderner GPUs diese Ausgangslage jedoch grundlegend verändert.

Laut einer IDC-Umfrage unter 300 europäischen CIOs werden die Rack-Leistungsdichten bis 2026 von historisch 15 kW auf 100 kW oder mehr steigen – bis 2030 werden sogar bis zu 500 kW pro Rack erwartet.

Diese Entwicklung öffnet eine operative Lücke: Einerseits erfassen viele Betreiber ihre detaillierten Kühlkosten trotz steigender Betriebskosten nicht aktiv, andererseits halten 21 Prozent Direct-to-Chip Liquid Cooling für ihre aktuellen Roadmaps schlicht nicht für erforderlich. Beides ist nachvollziehbar, aber riskant: Wer die Kosten nicht misst, kann die Kosten eines Verbleibs bei Luftkühlung nicht gegen die Kosten eines Umstiegs auf Liquid Cooling rechnen. Die Messung ist somit der Ausgangspunkt jeder glaubwürdigen ROI-Diskussion.

Der kritische Punkt: Wenn Luftkühlung an ihre Grenzen stößt

Sobald die Leistungsdichte eines Racks 30 bis 35 kW übersteigt, wird Luftkühlung zur Herausforderung – ein Schwellenwert, der sich aus Supermicro-Kundenfeedback und Tests unter dauerhaft hoher TDP-Auslastung ergibt.

Luft hat eine geringe volumetrische Wärmekapazität. Um ein 100-kW-Rack zu kühlen, wären enorme Luftmengen nötig, was entsprechend große, laute und energieintensive Lüfter erfordern würde – sofern eine ausreichende Kühlung damit überhaupt noch möglich wäre.

Ab rund 40 kW pro Rack wird Liquid Cooling zur wirtschaftlicheren Option und ab 100 kW zur Notwendigkeit, da sonst thermisches Throttling die nutzbare Leistung der Hardware drosselt.

Der genaue Schwellenwert variiert je nach Anlagendesign, Workload-Profil, Auslastung und vorhandener Kühlungsinfrastruktur. Entscheidend ist die Verschiebung der Fragestellung: Es geht nicht mehr darum, ob die Luftkühlung technisch ausreicht, sondern ob sie dies wirtschaftlich, vorhersehbar und ohne Leistungseinbußen tut.

2. Zuerst die eigenen Kennzahlen kennen

Laut IDC-Umfrage ist der kapitalintensive Wechsel von Luft- zu Liquid Cooling praktisch nicht zu rechtfertigen, wenn keine genauen Kostendaten vorliegen. Ohne eine präzise Ausgangsbasis lässt sich kein belastbarer Business Case erstellen. Zwei Kennzahlen sind dafür zentral:

• PUE (Power Usage Effectiveness): Die etablierte Kennzahl für Energieeffizienz im Rechenzentrum gibt das Verhältnis der Gesamtenergie der Anlage zum IT-Energieverbrauch an. Sie kann jedoch lokale Ineffizienzen der Luftkühlung auf Rack-Ebene verschleiern.

• pPUE (Partial PUE): isoliert speziell den Energieverbrauch des Kühlsystems im Verhältnis zur IT-Last.

Da Rechenzentren selten homogen sind, sollten Teams zunächst die Bereiche mit hochdichten KI-Systemen identifizieren. Der ROI-Case konzentriert sich dann auf wenige praxisrelevante Größen: die aktuelle und die erwartete künftige Rack-Leistungsdichte, die aktuellen Kühl- und Energiekosten, die vorhandene Kapazität zur Wärmeabfuhr und Stromversorgung, die Wasserverfügbarkeit sowie die Frage, ob ohnehin eine Aufrüstung des Kühlsystems ansteht. So bleibt die Diskussion fokussiert. Was kostet es, die Luftkühlung weiter zu skalieren – und ab wann werden RDHX, hybrides Liquid Cooling oder Direct-to-Chip-Liquid-Cooling zur praktikableren Option?

Mikrokanäle und mikrokonvektive Kühlung erweitern das bekannte Angebot

Der Markt für Flüssigkeitskühlung in Rechenzentren wächst und wächst

Messmethoden und Kostenentwicklung

Data-Center-Infrastructure-Management-Tools (DCIM) mit intelligenten PDUs und Umgebungssensoren liefern die erforderlichen Messdaten. Die Kostenkurve der Luftkühlung verläuft dabei nicht linear: Bis 15 kW steigt der Energieverbrauch von Lüftern und Kältemaschinen bei doppelter Leistungsdichte noch vorhersehbar an.

Ab 50 kW, spätestens jedoch ab 100 kW, wird sie unberechenbar: Höhere Lüftergeschwindigkeiten, zusätzliche Kühlkapazität und angepasstes Luftstrommanagement treiben die Kosten dann sprunghaft in die Höhe. Deshalb sollte die ROI-Berechnung die Kosten eines Verbleibs bei der Luftkühlung den Kosten eines Umstiegs auf RDHX, hybrides Liquid Cooling oder Direct-to-Chip-Liquid-Cooling gegenüberstellen.

3. Die passende Lösung für die jeweilige Situation

Für Liquid Cooling gibt es keinen universell passenden Ansatz: Betreiber können zwischen der Nachrüstung einer bestehenden Anlage und einem Neubaukonzept mit Liquid Cooling von Beginn an wählen.

Luftkühlung: Bis 20 bis 30 kW pro Rack bleibt die klassische Luftkühlung (CRAC) die naheliegende Standardlösung: Sie ist bekannt, weit verbreitet und einfach zu warten. Mit steigender Rack-Dichte verschlechtert sich jedoch ihre Wirtschaftlichkeit, da das Bewegen ausreichender Luftmengen zunehmend teurer wird.

Der Nachrüstungsweg mit RDHX und hybriden Ansätzen: Böden aufzureißen und Rohrleitungen für Flüssigkeitskreisläufe zu verlegen, ist bei Bestandsanlagen wirtschaftlich oft nicht vertretbar. Eine Möglichkeit ist der Rear-Door Heat Exchanger (RDHX): Die Serverracks bleiben innen luftgekühlt und eine flüssigkeitsgekühlte Radiatortür an der Rückseite nimmt bis zu 100 Prozent der heißen Abluft auf. Diese Lösung ist bis zu einer Leistung von rund 50 kW pro Rack einsetzbar. Die anfänglichen CapEx liegen deutlich unter denen einer vollständigen Liquid-Cooling-Infrastruktur, da sich einzelne Bereiche mit hochdichter KI-Infrastruktur gezielt nachrüsten lassen, ohne das Kühlprofil des gesamten Raums zu verändern.

Neubau: Bei Neubauten mit KI-Clustern ab 100 kW ist die Direct-to-Chip Liquid Cooling mittels Cold Plates die am häufigsten verwendete Methode, um die TCO zu senken. Das Kühlmittel zirkuliert dabei direkt durch die Mikrokanäle auf den CPUs und GPUs und kann so bis zu 94 Prozent der Wärme direkt an der Quelle aufnehmen. Die höheren Anfangsinvestitionen für Rohrleitungen, Coolant Distribution Units (CDUs) und das Flüssigkeitsmanagement zahlen sich durch spürbar niedrigere Betriebskosten aus.

Direct-to-Chip in Kombination mit Luftkühlung

Flüssigkeitskühlung für KI-Rechenzentren wird Mainstream

4. Die Kühlstrategie an die wirtschaftliche Realität anpassen

Ein wirksamer ROI-Rahmen muss über reine Energieeffizienz hinausgehen und die wirtschaftlichen Rahmenbedingungen berücksichtigen.

• 1. Kostensenkung (OpEx): Der Wechsel zu Liquid Cooling bei hoher Leistungsdichte kann den Energieverbrauch für Kühlung laut Rack- und Server-Level-Simulationen um bis zu 70 Prozent senken. Liquid Cooling eliminiert den hohen Energiebedarf der Gehäuselüfter und ermöglicht wärmere Wasserkreisläufe. Dadurch lässt sich der Einsatz energieintensiver Kältemaschinen reduzieren oder sogar ganz vermeiden.

• 2. Nachhaltigkeit: Durch Liquid Cooling wird der CO₂-Fußabdruck der Anlage zusätzlich gesenkt und die Einhaltung immer strenger werdender Umweltvorschriften erleichtert.

• 3. Zukunftssicherheit: KI-Hardware-Zyklen sind kurz. Eine robuste, liquid-cooling-fähige Infrastruktur kann künftige Architekturgenerationen aufnehmen, ohne dass alle drei bis fünf Jahre eine teure Umrüstung erforderlich ist.

Praxisnahe Amortisationsszenarien

Die finanziellen Ergebnisse unterscheiden sich je nach Implementierungsstrategie erheblich:

• Nachrüstung: Ein Enterprise-Rechenzentrum rüstet 20 bestehende Racks mit RDHX-Türen nach, um ein neues KI-Inferenzprojekt zu unterstützen. Da die Wärme direkt an der Rückseite der Racks abgeführt wird, entfällt eine Aufrüstung des Kältemaschinensystems für den gesamten Raum. Die Kombination aus geringeren Anfangsinvestitionen, den Energieeinsparungen aus Punkt 1 (bis zu 70 % weniger Kühlenergie) und vermiedenen Zusatzkosten ergibt bei einer typischen Implementierung in gemäßigtem Klima eine Amortisationszeit von 12 bis 24 Monaten.

• Neubau: Ein Hyperscale-Colocation-Anbieter errichtet eine KI-Anlage mit Direct-to-Chip Liquid Cooling für 1.000 Hochleistungs-Server. Die Anfangsinvestitionen in die Liquid-Cooling-Infrastruktur sind zwar hoch, doch die Reduzierung der geschätzten PUE von 1,4 auf 1,1 spart jährlich Hunderttausende Dollar an Energiekosten. Das TCO-Modell ergibt eine Amortisationszeit von drei bis fünf Jahren bei gleichzeitig maximierter Rechendichte auf der verfügbaren Fläche.

Der erste Schritt ist nicht die Wahl einer Kühltechnologie, sondern die Ermittlung der aktuellen Kühlkosten, ihrer Entwicklung bei steigender Rack-Leistungsdichte und der Grenzen der Anlage für die nächste KI-Implementierung. Auf dieser Basis lässt sich entscheiden: Luftkühlung dort, wo die Leistungsdichte es zulässt, RDHX oder hybrides Liquid Cooling dort, wo sich eine Nachrüstung lohnt, und Direct-to-Chip-Liquid-Cooling dort, wo höhere Leistungsdichten die wirtschaftlichen Rahmenbedingungen verändern.

Verteilte IT-Infrastruktur

Kleine Umgebungen hohe Anforderungen – Edge Computing

(ID:50994136)