Liquid Cooling für KI- und HPC-Cluster Warum das Rohrmaterial über die Kühlleistung mitentscheidet

Anbieter zum Thema

aquatherm Metallverarbeitung GmbH & Co. KG

Vertiv GmbH

DAXTEN GmbH

Mit 60 bis 140 Kilowatt pro Rack stößt Luftkühlung an ihre Grenzen. Doch auch Flüssigkeitskühlung steht und fällt mit der Infrastruktur dahinter: Das Rohrnetz wird zum Teil der thermischen Performance.

In Hyperscale-Rechenzentren werden heute bereits 50 bis über 100 Kilowatt (kW) pro Rack erreicht – Tendenz steigend. Ab etwa 30 kW pro Rack stößt die klassische Luftkühlung nicht nur an physikalische Grenzen, sie wird auch wirtschaftlich zur Problemzone: Die notwendigen Investitionen in luftbasierte Kältetechnik übersteigen dann die Kosten einer direkten Flüssigkeitskühlung – bei gleichzeitig höherer Ausfallwahrscheinlichkeit und schlechterer PUE.

Damit rückt eine bislang wenig beachtete Komponente ins Zentrum der Planung: das Rohrleitungssystem, das das Kühlmedium zwischen Cooling Distribution Unit (CDU) und Racks transportiert. Es entscheidet maßgeblich darüber, ob Flüssigkeitskühlung ihr technisches und wirtschaftliches Potenzial ausschöpfen kann oder zur neuen Fehlerquelle wird.

Techniken, die Rechenzentren „verflüssigen“

Ein Tropfen auf das heiße Silizium

Die aktuelle Generation von KI- und HPC-Clustern verschiebt die Lastprofile im Rechenzentrum grundlegend. Racks mit 60 bis 140 kW IT-Last sind keine Zukunftsprognose mehr, sondern Realität. Luft ist als Wärmeträger für diese Leistungsdichten nur noch mit enormem Aufwand nutzbar: große Luftvolumenströme, hohe Ventilatorleistungen, komplexe Kalt-/Warmgang-Konzepte und relevante Platzverluste im White Space.

Flüssigkeitskühlung (Direct-to-Chip, Cold Plates, teilweise Immersionslösungen) setzt hier an einem physikalischen Vorteil an: Wasser besitzt eine rund 3500-fach höhere Volumenwärmekapazität als Luft. Entsprechend können hohe Wärmelasten mit vergleichsweise geringen Volumenströmen abgeführt werden – bei zugleich höheren Vorlauftemperaturen, was effiziente Freikühlung und eine bessere PUE unterstützt.

Der kritische Pfad: Das sekundäre Flüssigkeitsnetzwerk (SFN/TCS)

Im Mittelpunkt der Flüssigkeitskühlung steht das sekundäre Flüssigkeitsnetzwerk (Secondary Fluid Network, SFN beziehungsweise Technology Cooling System, TCS). Dieses geschlossene Rohrnetz verbindet die CDUs mit den Racks und sorgt dafür, dass das Kühlmedium zuverlässig zirkuliert – typischerweise mit Vorlauftemperaturen von 20–30 Grad Celsius und Rücklauftemperaturen von 30–45 Grad Celsius.

Auf den ersten Blick wirkt die Rohrleitungswahl wie eine klassische Beschaffungsfrage. In vielen Ausschreibungen sind Edelstahlrohre (SS 304/316) noch Standard – aus Gewohnheit, nicht aus technischer Optimierung. Bei näherem Hinsehen zeigt sich: Die Materialentscheidung im SFN beeinflusst direkt

• die Lebensdauer und Reinheit des Kühlmittels,

• die Filterstandzeiten in der CDU,

• die Sauberkeit der Mikrokanäle in den Cold Plates,

• die Langzeitleistung der Pumpen und

• die Rentabilität der Abwärmenutzung bei höheren Rücklauftemperaturen.

Mit anderen Worten: Das Rohrnetz ist Teil der thermischen und betrieblichen Performance, nicht nur „Transportweg“.

Einphasige direkte Flüssigkeitskühlung für kommende Chip-Generationen

Cold Plate von Coolit kühlt 4.000-Watt-Prozessoren

Die Metall-Fehlerkette: Wenn das Rohr zum Störfaktor wird

Edelstahl gilt in der Gebäudetechnik traditionell als robust. In hochsensiblen DLC-Systemen mit Wasser/Glykol-Gemischen oder deionisiertem Wasser zeigt sich jedoch eine andere Realität. Typische Effekte im SFN:

• Korrosion und Metallionenfreisetzung: Selbst bei chlorarmem, nahezu neutralem Wasser liegen die Korrosionsraten von Edelstahl 304 in einem Bereich, der über zehn Jahre messbare Mengen an Metallpartikeln in den Kreislauf einträgt. In einem DN-50-Rohr können so im Zehnjahreszeitraum Größenordnungen von Dutzenden bis über 1.000 Kubikmillimeter Partikel pro Meter entstehen.

• Filterverstopfung und Cold-Plate-Verschmutzung: Metallpartikel beschleunigen die Verblockung der Filter, erhöhen den Wartungsaufwand und lagern sich in den Mikrokanälen der Cold Plates ab. Das steigert den Wärmewiderstand, erhöht die Pumpenlast und kann geplante Ausfallzeiten nötig machen.

• Rauigkeitszuwachs und hydraulische Verluste: Die Oberflächenrauheit von Edelstahlrohren wächst über die Jahre. In einer typischen DN-50-Schleife führt dies zu reduzierten Durchflussquerschnitten und geringeren Volumenströmen ein schleichender Effizienzverlust, der sich in der Gesamtbilanz der Anlage bemerkbar macht.

• Parallel verschärfen sich die Anforderungen an die Kühlmittelreinheit: Filtrationsstandards bewegen sich von derzeit 25–50 Mikrometer (µm) in Richtung 10 µm und darunter. In Ultrareinwasseranwendungen (SEMI F63) liegen die Anforderungen im Nanometerbereich – technischen Vorgaben, die mit Metallrohrsystemen kaum zu erreichen sind. Die Kühlkonzepte von Rechenzentren bewegen sich in genau diese Richtung.

Kunststoff-Rohrleitungssysteme: Inert statt reaktiv

Vor diesem Hintergrund rücken Polymerrohre – insbesondere PP-RCT-Systeme – in den Fokus der Planer. Sie bringen Eigenschaften mit, die im Kontext von DLC-Systemen entscheidend sind:

• Keine Freisetzung von Metallionen: PP-RCT-Rohre sind gegenüber den üblichen Kühlmedien vollständig inert. Es gelangen keine metallischen Partikel in den Kreislauf – ein wesentlicher Faktor für Filtrationskonzepte kleiner oder gleich (≤) 10 µm und für Mikrokanal-Kühler.

• Stabile, glatte Innenoberfläche: Die Oberflächenrauheit bleibt über die Lebensdauer auf einem niedrigen Niveau und verändert sich praktisch nicht. Das sorgt für stabile hydraulische Verhältnisse und reduzierte Ablagerungstendenzen, auch hinsichtlich Biofilm.

• Keine galvanische oder Spaltkorrosion: Inhibitoren zum Schutz des Rohrsystems sind nicht erforderlich. Die chemische Konditionierung des Kühlmediums kann auf die Anforderungen der IT-Hardware fokussiert werden – nicht auf den Korrosionsschutz des Leitungsnetzes.

• Kompatibilität mit DI- und Reinstwasser: Anders als Edelstahl, der in deionisiertem Wasser beschleunigt korrodiert, bleiben PP-RCT-Systeme auch in hochreinen Medien stabil. Damit sind sie für zukünftige Kühlkonzepte mit sehr hohen Reinheitsanforderungen geeignet.

• Vereinfachte Inbetriebnahme: Beiz- und Passiviervorgänge sowie lange Spülzeiten entfallen. Die Inbetriebnahmezeiten können gegenüber Metalllösungen deutlich reduziert werden.

• Gewichts- und Statikvorteile: PP-RCT-Rohre wiegen etwa ein Achtel vergleichbarer Edelstahlrohre. Das reduziert die Deckentraglast, erweitert die Möglichkeiten bei Trassen und Halterungsabständen und erleichtert Nachrüstungen im Bestand.

10-Jahres-Betrachtung: OPEX entscheidet

Ein OPEX-Modell (Operational Excellence) für einen typischen SFN-Kreislauf von 3.785 Litern – entsprechend einer DLC-Anlage mittlerer Dichte – zeigt, wie stark sich die Materialwahl wirtschaftlich auswirkt. Betrachtet wurden ausschließlich Änderungen und Nachbehandlungen des Kühlmittels, Filterwechsel sowie Wartung und chemische Prüfungen, jeweils über einen Zeitraum von zehn Jahren, ohne Investitions- und Energiekosten.

Für ein Edelstahl-System ergeben sich dem Modell zufolge Betriebskosten von rund 136.000 Euro, während ein vergleichbarer PP-RCT-Kreislauf bei etwa 31.000 Euro liegt. Das entspricht einer OPEX-Reduktion von rund 104.000 Euro über zehn Jahre – bei gleicher Funktion der Kühlanlage.

Hochskaliert auf eine IT-Last von 10 MW (etwa 100 Racks mit je 100 kW) ergibt sich ein Einsparpotenzial von 2,6 bis 3,1 Millionen Euro allein im SFN-Betrieb über eine Vertragslaufzeit von zehn Jahren – noch ohne die Effekte geringerer ungeplanter Ausfälle durch verschmutzte Cold Plates.

Direct-to-Chip in Kombination mit Luftkühlung

Flüssigkeitskühlung für KI-Rechenzentren wird Mainstream

Normativer Rahmen und Systemintegration

Die Auslegung von Rohrleitungssystemen für DLC-Kreisläufe bewegt sich im Spannungsfeld verschiedener Normen: Rohrleitungs- und Schweißnormen (zum Beispiel EN ISO 15494, DVS 2203-5, ASME B31.9) regeln Materialanforderungen, Druckbereiche und Verbindungstechniken. Ashrae Tc 9.9 definiert Richtlinien für Temperaturbereiche, Kühlmittelauslegung und Filtration in Rechenzentren. EU-Richtlinien und EN-Normen zur Abwärmenutzung und Energieeffizienz (zum Beispiel EN 15316, ISO 14040/EPD-Kontext) rücken die Frage in den Fokus, wie gut sich höhere Rücklauftemperaturen (größer als oder gleich ≥ 35 Grad Celsius) in Fernwärmesysteme oder Absorptionskältemaschinen einbinden lassen.

Gerade die Anbindung an Wärme- oder Kältenetze stellt zusätzliche Anforderungen an die Materialwahl. Bei erhöhten Rücklauftemperaturen sind metallische Verunreinigungen auf der Rücklaufseite für viele Fernwärmeschnittstellen problematisch. Inert arbeitende Polymerleitungen schaffen hier Planungssicherheit.

Einsatzfelder und Grenzen von PP-RCT in der Rechenzentrumskühlung

PP-RCT-Rohrsysteme zeigen ihre Stärken insbesondere in Bereichen, in denen Kühlmittelqualität, Wartungsaufwand und Abwärmenutzung kritisch sind:

• SFN-/TCS-Schleifen zwischen CDU und rackspezifischer Verteilung,

• KI- und HPC-Cluster mit 60–140 kW pro Rack,

• Kühlkreisläufe mit deionisiertem Wasser oder Medien mit geringem Zusatzstoffanteil,

• Rücklaufleitungen mit 30–45 Grad Celsius zum Zweck der Abwärmerückgewinnung,

• Retrofit-Projekte, bei denen geringes Gewicht und schnelle Inbetriebnahme entscheidend sind,

• vorgefertigte Skid- oder Rack-Module mit dokumentierter Schweißnahtqualität.

Eine Einzelfallprüfung bleibt dort erforderlich, wo sehr hohe Drücke oder spezielle dielektrische Fluide (Immersionsbäder) im Spiel sind. Hier muss die Materialkompatibilität gesondert qualifiziert werden.

Immersionskühlung ist in puncto Energie-Effizienz unschlagbar

Alles fließt. Das immersive Rechenzentrum

Am Ende entscheidet die Infrastruktur – und das Material

Flüssigkeitskühlung hat sich als Schlüsseltechnologie für die nächste Generation von Rechenzentren etabliert. Doch ob ein DLC-System seine Vorteile – hohe Leistungsdichten, bessere PUE, Abwärmenutzung und reduzierte OPEX – tatsächlich entfalten kann, hängt wesentlich von der Qualität des sekundären Flüssigkeitsnetzes ab.

Planer und Betreiber stehen damit vor einer strategischen Entscheidung: Setzen sie in diesem kritischen Bereich weiterhin auf metallische Lösungen und akzeptieren die damit verbundene Fehlerkette aus Korrosion, Partikeleintrag und erhöhtem Wartungsaufwand? Oder definieren sie Kunststoff-Rohrleitungssysteme als neuen Standard für hochleistungsfähige, saubere und langfristig stabile Flüssigkeitskühlung?

Stefan Frenzel über Kühltechnologien und Abwärmenutzung

Den Rechenzentren geht die Luft aus

(ID:50941978)