Liquid Cooling Warum die Direct-to-Chip-Kühlung nach wie vor Luftkühlung erfordert

Anbieter zum Thema

dc-ce RZ-Beratung Berlin, Frankfurt, Erding

Stäubli TEC-Systems GmbH Connectors

DAXTEN GmbH

EPS Rechenzentrum Infrastruktur GmbH

Die Direct-to-Chip-Kühlung (DTC) ist eine Schlüsseltechnologie für KI- und HPC-Systeme mit hoher Dichte. Sie leitet einen großen Teil der Wärme direkt von den Prozessoren ab und ermöglicht dadurch deutlich höhere Leistungsdichten pro Rack.

Dennoch bleibt die Luftkühlung ein wichtiger Planungsfaktor. Die entscheidende Frage lautet nicht „Luft oder Wasser?“, sondern wie beide Kühlwege zusammenwirken und auch im Störungsfall zuverlässig betrieben werden können.

Rundgang bei Equinix in Frankfurt – „FR6“

Direct-to-Chip-Kühlung – So baut Equinix die Infrastruktur auf

Die Wärme verschwindet nicht, sondern ihr Transportweg ändert sich

Bei der DTC-Kühlung nehmen Kühlplatten die Wärme direkt von CPUs und GPUs auf. Sie wird über den Kreislauf des Technology Cooling System (TCS) und die Coolant Distribution Unit (CDU) an das Facility Water System (FWS) des Gebäudes weitergeleitet. Dadurch wird die Luftlast erheblich reduziert.

Allerdings werden nicht alle Komponenten flüssigkeitsgekühlt. Netzteile, Switches, Speichergeräte und andere elektronische Komponenten geben weiterhin Wärme an die Umgebung ab. Hinzu kommen Wärmeeinträge durch Rohrleitungen, Verteiler und CDUs. Das Ausmaß dieses Beitrags hängt von der jeweiligen IT-Architektur ab.

100 % Flüssigkeitskühlung bedeutet nicht, dass keine Luftkühlung erforderlich ist

Nvidia beispielsweise beschreibt die „Vera-Rubin-NVL72“-Architektur als vollständig flüssigkeitsgekühlt und nennt Kühlmitteleintrittstemperaturen von bis zu 45 °C. Gleichzeitig werden in der technischen Dokumentation weiterhin luftgekühlte Netzteile und Netzwerkkomponenten angegeben.

Für die Planung ist es daher entscheidend zu ermitteln, welcher Anteil der gesamten Rack-Leistung tatsächlich über die Flüssigkeitskühlung abgeführt wird. Ein hoher Flüssigkeitskühlungsgrad bei den Prozessoren bedeutet nicht zwangsläufig, dass auf die Raumluftkühlung verzichtet werden kann. Ausschlaggebend ist die verbleibende sensible Wärmelast in Kilowatt.

W45 lässt höhere Temperaturen zu, aber keine unbegrenzte Kühlung

Die Ashrae-Klasse W45 erlaubt Kühlmitteleintrittstemperaturen von bis zu 45 °C. Dies schafft günstige Voraussetzungen für den Einsatz von Trockenkühlern und die Bereitstellung von Abwärme auf einem wirtschaftlich tragbaren Temperaturniveau.

W45 bedeutet jedoch nicht, dass ein Rechenzentrum das ganze Jahr über ohne zusätzliche Kühlung betrieben werden kann.

Zu den entscheidenden Faktoren zählen Außentemperaturen, Vor- und Rücklauftemperaturen, Temperaturspanne, Wärmetauscher, die Dimensionierung der Nachkühler sowie das Teillastverhalten. Auch die Wasserqualität, Verunreinigungen und der Energieverbrauch der Pumpen beeinflussen den Betrieb.

Bei hohen Außentemperaturen können adiabatische Unterstützung, zusätzliche Kühlleistung oder eine vorübergehende Reduzierung der IT-Leistung erforderlich sein.

Effizienz beginnt am Chip

Direkte Flüssigkühlung kurz erklärt

Die Restluftkühlung ist Teil der Systemverfügbarkeit

Die verbleibende Luftlast muss auch bei hohen Rack-Leistungen zuverlässig abgeführt werden. Dies erfordert einen definierten Luftströmungsweg, ausreichende Luftmengen und eine abgestimmte Steuerung zwischen dem IT-System, der CDU und der Raumklimatisierung. Andernfalls können sich lokale Hotspots bilden, obwohl die Prozessoren ausreichend gekühlt werden.

Störungszustände sind besonders kritisch. Eine ausschließlich für die Restlast ausgelegte Luftkühlung kann im Falle eines Ausfalls des Flüssigkeitskühlsystems nicht die gesamte Rack-Leistung übernehmen.

Pumpenstillstände, CDU-Ausfälle oder Unterbrechungen im Kühlwasserkreislauf müssen daher durch geeignete Redundanzkonzepte, thermische Puffer, automatische Leistungsbegrenzung und definierte Abschaltsequenzen bewältigt werden.

Die Luftkühlung ist somit ein integraler Bestandteil des Verfügbarkeitskonzepts, jedoch kein redundanter Ersatz für den Flüssigkeitskühlkreislauf.

Herstellerspezifikationen müssen in konkrete Anforderungen umgesetzt werden

Die Bezeichnung „DTC-kompatibel“ oder „DTC-fähig“ reicht für eine robuste Auslegung oder Ausschreibung nicht aus.

Mindestens die folgenden Details müssen verbindlich festgelegt werden:

• Anteil der Wärmeabfuhr über die Flüssigkeitskühlung und verbleibende Luftlast pro Rack;

• Vor- und Rücklauftemperaturen, Durchflussmengen und Differenzdrücke;

• Wasserqualität, Filtration, Materialverträglichkeit und Leckageerkennung;

• Redundanz und Systemverhalten bei Ausfall einzelner Komponenten;

• Messpunkte, Regelungsstrategien und Schnittstellen zwischen IT, CDU und Gebäudeautomation.

Diese Informationen bilden die Grundlage für die Dimensionierung der Anlagen und die Bewertung der Betriebssicherheit.

Immersionskühlung ist in puncto Energie-Effizienz unschlagbar

Alles fließt. Das immersive Rechenzentrum

Bei der Inbetriebnahme muss zudem nachgewiesen werden, wie das System mit Fehlerzuständen umgeht

Werksabnahmeprüfungen (FAT), Standortabnahmeprüfungen (SAT) und fachübergreifende Integrationstests dürfen sich nicht auf den Nennbetrieb beschränken.

Insbesondere müssen Laständerungen, Teillastbetrieb, Pumpenausfälle, Umschaltvorgänge, Kommunikationsfehler und Wiederanlaufverfahren untersucht werden.

Auch der Betrieb ohne verfügbaren Abwärmeabnehmer muss berücksichtigt werden. Nur so lässt sich nachweisen, dass Flüssigkeits- und Luftkühlung gemeinsam die erforderliche Verfügbarkeit gewährleisten.

Fellow bei Dell Ty Schmitt sagt..

Direct-Liquid-Cooling wird zum Stan­dard – Immersion bleibt Nische

Heiß gerechnet

Wie KI-Rechenzentren die Wärmeplanung verändern

(ID:51012523)