Aufgabe und Funktionsweise einer Coolant Distribution Unit Ohne CDU keine Wasser­kühlung im Rechenzentrum

Anbieter zum Thema

Vertiv GmbH

DAXTEN GmbH

EPS Rechenzentrum Infrastruktur GmbH

Rechenzentrumsbetreiber benötigen aktuell durch die Künstliche Intelligenz (KI) und HPC eine noch nie dagewesene Menge an Rechenleistung, welche eine eben so exorbitant hohe Wärme-Entwicklung mit sich bringt. Klassische Luftkühlung reicht da nicht mehr aus, Flüssigkühlung heißt das Lösungswort. Um mit Wasser die heißen Prozessoren zu kühlen, ist eine Cooling Distribution Unit (CDU) essenziell.

Eine CDU ist im Prinzip eine Wärme-Übergabestation, also eine Maschine, die eine hydraulische Trennung beinhaltet. Ähnliche Systeme gibt es in der Elektrotechnik, dort gibt es Transformatoren, die galvanisch die Stromkreise trennen. Das gleiche Prinzip funktioniert auch mit Flüssigkeiten. Sie wird benötigt, um die direkte Prozessorkühlung (Direct-to-Chip) mit zu ermöglichen.

Bei der Liquid-to-Chip Methode werden Flüssigkeiten in den Server geleitet. Dort verlaufen sie zumeist innerhalb einer Abdeckung über den Chip und kühlen ihn somit vergleichsweise direkt. Sie ist notwendig, da der Bedarf an Rechenleistungen durch den Boom der KI um ein Vielfaches gestiegen ist und sich die damit einhergehende hohe Wärme-Entwicklung nicht mehr alleine mit Luft auffangen lässt.

Eine CDU ist aber auch für andere flüssigkeitsbasierte Kühlungsmethoden wie das Immersion Cooling nutzbar. Grundsätzlich wird sie benötigt, sobald Flüssigkeiten, die am Server, am Rack ankommen sollen, hydraulisch getrennt werden müssen.

Besondere Voraussetzungen für die Flüssigkeiten

Auf der Primärseite der CDU befindet sich eine Mischung aus Wasser und einem Frostschutz wie Glykol. An Orten mit wärmerem Klima, an denen kein Frost droht, wird auf die Hinzugabe eines Frostschutzes verzichtet, da keine Gefahr besteht, dass das System einfriert.

Bei der Flüssigkeit auf der Sekundärseite handelt es sich meist um eine Mischung aus Wasser und Polyethylenglykol. Das Mischverhältnis ist 75 Prozent Wasser und 25 Prozent Polyethylenglykol. Die Mischung wird als 25 PG bezeichnet und verhindert primär Korrosion. Zusätzlich sind weitere Chemikalien beigemischt, die die Bildung von biologischen Organismen verhindern.

Die Kanäle, die sich auf der Prozessorabdeckung befinden, sind äußerst feine Konstruktionen, die in ihrem Design Elemente aus der Biologie beinhalten, wie Heiko Ebermann, Global Offering Manager Liquid Cooling bei Vertiv, erklärt: „Die sehen aus wie Blätter oder wie Blutkreisläufe. Die Kanäle verästeln sich ganz filigran. Das geht in den 100 Mikrometer Bereich, also Bruchteile von einem Millimeter.“

Somit würde die kleinste Verunreinigung des Wassers zu Verstopfungen führen, die die Kühlung des Chips unterbrechen und eine Überhitzung zur Folge hätte. Mindestens der Chip wäre dann kaputt.

Bis zu 60 Grad und mehr

Auf der Primärseite befindet sich ein Regelventil, das eine konstante Temperatur gewährleistet. Auf der Sekundärseite sind Pumpen und alle notwendigen Überwachungseinrichtungen über den Filter platziert.

Die Temperaturen in der CDU erreichen bis zu 60 Grad. Diese können in Ausnahmefällen noch höher sein, doch wird das Temperaturniveau zumeist von den Chip-Herstellern festgelegt und die Kühltechnik muss die Spezifikation liefern. Ebermann hält fest: „Da gibt es eine Tendenz, die dem heiligen Lied der Wärmerückgewinnung ein Stück weit entgegenwirkt: Weil die Chips schneller getaktet werden, muss man niedrigere Temperaturen fahren.“

Wenn die Kühlleistung nicht hoch genug sei, um zum Teil durch mehrere Schichten Silizium hindurch den in der Mitte des Chips sitzenden Transistor zu kühlen, droht ebenfalls Überhitzung. Ebermann: „An der Oberfläche muss das Silizium kälter sein, damit es in der Mitte an dem Transistor noch so kalt ist, dass der funktioniert. Deswegen geht der Trend zu niedrigeren Temperaturen.“

Interview mit Heiko Ebermann, Vertiv

„Etwas Luftkühlung bleibt fast immer“

Im Vergleich zu einem herkömmlichen Kaltwassernetz müssen die Temperaturunterschiede höher liegen, damit die CDU funktioniert - etwa doppelt so hoch. Zugleich ist die Flüssigkeitsmenge in der CDU nur halb so hoch wie die in einem gewöhnlichen Chiller. Ebermann: „Das doppelte Delta T heißt die halbe Wassermenge. Klassische Kaltwassernetze fahren ein Delta-T von 6 Kelvin, hier ist es ein Delta-T von 10, bis 15 Kelvin.“

Wichtig ist in einer CDU zudem der richtige Druck, mit dem das Wassergemisch durch die Leitungen gedrückt wird. Der Systemdruck liegt bei rund zweieinhalb Bar. Der Druck im Vorlauf beträgt ebenfalls zweieinhalb und im Rücklauf anderthalb Bar. Wichtig: Es darf zu keiner Unterdrucksituation kommen, sonst droht Kavitation.

Kein Ersatz für die Luftkühlung

Die CDU kühlt hauptsächlich die CPU. Es ist zwar möglich, auch andere Komponenten wie die GPU anzusteuern, doch sind solche Anwendungen kostspielig und gehören noch nicht zum Industriestandard. Darüber hinaus stellen sich Umrüstwillige, die von Luft- auf Wasserkühlung umsteigen wollen die Frage: Können Flüssigkühlsysteme das Cooling durch Luftströme ersetzen?

Dazu äußert der Vertiv-Experte: „Aktuell hat sich im Markt durchgesetzt, dass die Flüssigkeitsinfrastruktur zusätzlich zur Luftkühlung installiert wird, die Luftkühlung in dem Rechenzentrum also erhält.“ Selbst wenn ein neues Rechenzentrum gebaut werde, fügen die Bauherren der einen Art Kühlung die andere hinzu. Ebermanns Fausregel: „Die restlichen vagabundierenden Wärmelasten, die zwischen 20 und 30 Prozent liegen, werden klassisch mit Luft gekühlt.“

Was macht eine gute CDU aus?

Heiko Ebermann, Global Offering Manager Liquid Cooling bei Vertiv, zählt die wichtigesten Eigenschaften einer CDU auf:

• extreme Anforderungen an Sauberkeit,
  
  
• Fertigung aus Edelstahl, um Verunreinigungen zu vermeiden,
  
  
• eine lückenlose Überwachung des Systems,
  
  
• redundanter Aufbau der Hauptkomponeten.

Das zugehörige umgekehrte Rechenbeispiel liefert er auch noch: „Bei einem 100 Kilowatt (kW) -Rack - das ist bei flüssigkeitsgekühlten Servern pro Serverschrank durchaus möglich - können zwischen 20 und 30 kW mit Luft und die restlichen 70, 80 kW flüssig gekühlt werden.“

Somit sei eine Zukunft ganz ohne Luftkühlung sehr unwahrscheinlich. Zwar werden die Absatz- und Umsatzzahlen für die Flüssigkeitskühlung laut Marktstudien die Luftkühlung erst einmal überholen, aber es sei schlichtweg viel zu teuer, jede Wärmelast mit Flüssigkeiten einzufangen, so der Vertiv-Fachmann.

Integration der CDU in ein klassisches Rechenzentrum

Beim Einbau einer CDU ändert sich an der Anordnung der Server im Rechenzentrum zunächst einmal nichts - sie bleiben in Racks, in Reih und Glied ... Allerdings brauchen Chiller, Rohre und Verdampfungskühler zusätzlichen Platz. Außerdem ist das potenzielle Mehrgewicht der Hochleistungsrechner und der Wärme-Übergabestation zu berücksichtigen.

Die Einbindung einer CDU in ein Rechenzentrum lässt sich am ehesten mit der Stromverteilung vergleichen. Im Fall der CDU wird über das Sekundärnetz die Flüssigkeit in die Racks geleitet. Dort wird dann über die Verteilsysteme (Manifolds) der Vorlauf und Rücklauf geregelt.

„Die Manifolds sind ähnlich aufgebaut wie eine PDU, nur dass die Stecker eben keinen Strom führen, sondern Flüssigkeiten“, sagt Ebermann. „Und ähnlich ist das dann am Server auch angesteckt. Das klassische C14 Kabel ist dann ein Flüssigkeitsführer.“

Ebermann empfiehlt, die CDU am Ende einer Rack-Reihe zu positionieren. Zwar könne man sie auch an einen anderen Ort im Rechenzentrum platzieren, wie in einer Technikzentrale, doch ein größeres Sekundärnetz mit mehr Kühlflüssigkeit sei dann die Folge.

Keine aufwendige Wartung nötig

Der redundante Aufbau der Hauptkomponenten einer CDU sorgt dafür, dass keine aufwendigen Wartungen notwendig werden. Eine AB-Umschaltung sowie ein 2N Aufbau gewährleisten die Kühlung bei Auswahl einer Pumpe. „Man muss sich das vorstellen wie in einem zweistrahligen Flugzeug. Die fliegen immer mit beiden Triebwerken und nur wenn eins ausfällt, muss das andere übernehmen. Und so ist das hier auch“, sagt Ebermann.

Trete eine Leckage auf, müsste Wasser nachgefüllt werden. Bei vielen CDUs ist allerdings eine automatische Wassernachspeisung verbaut.

Auch die Filter werden überwacht. Der Nutzer bekommt somit einen Alarm, wenn diese getauscht oder gereinigt gehören. Ähnliches gilt auch für die Pumpen - „aber erst nach mehreren Jahren der Nutzung“, betont Ebermann

Die XDU von Vertiv

Vertiv hat als eines der ersten Unternehmen eine CDU auf den Markt gebracht. Die Akquisition des Kühlungsunternehmens Cooltera, brachte einen erheblichen Vorteil bei der Produktentwicklung. Die jahrelange Erfahrung im Bereich der Kühltechnik floss ebenso in die Geräte ein, wie die durch die enge Zusammenarbeit mit den Chip-Herstellern Nvidia und Intel.

Das Topmodell von Vertiv mit drei Pumpen und einer Kühlleistung von 1,35 Megawatt (MW) sei der Verkaufsschlager bei Vertiv, wie Heiko Ebermann, Global Offering Manager Liquid Cooling bei Vertiv, beschreibt:

„Das ist der Bestseller. Der Rest ist Nische.“

Zu den Kunden gehören neben den großen Hyperscalern Meta und AWS auch der Chiphersteller Nvidia. Laut Ebermann sei die Nachfrage nach CDUs außerordentlich und Vertiv komme kaum noch hinterher:

„Der Bedarf ist höher, als wir fertigen können und wir setzen Tod und Teufel in Bewegung, um diesen bedienen zu können.“

Die Installation und Inbetriebnahme der CDUs erfolgt durch Vertiv. Das Unternehmen biete ein umfassendes Service-Netzwerk, das sich über mehrere Länder, auch Deutschland, erstrecke, hebt der Vertiv-Mann hervor.

Ein kleiner Blick in die Zukunft

Aktuell liegt der Einsatzbereich für flüssigkeitsgekühlte Racks zwischen 50 und 100 kW pro Rechnerschrank. Experten gehen davon aus, dass sich die Leistung pro Rack in den kommenden drei Jahren mindestens verdoppeln wird. Tatsächlich zeigen die Roadmaps der großen Chiphersteller, dass man mit Leistungen unter 200 kW kaum noch rechnet.

Da stellt sich die Frage nach der Halbwertszeit der DCU-Anlagen. Schließlich ist davon auszugehen, dass mit weiter ansteigenden Leistungsanforderungen an die Prozessoren, auch die CDUs deutlich an Kühlleistung zulegen müssen.

Ebermann jedenfalls zeigt sich fasziniert von den aktuell rasanten Entwicklungen im Datacenter-Markt und spekuliert über die Zukunft:

Das muss man sich mal vorstellen. Ich habe früher über wassergekühlte Schränke geredet, die hatten bis zu zehn kW. Und jetzt reden wir über 200 kW. Das ist schon der Hammer. Das sind 280 PS. Das kann einen ganzen LKW oder einen großen Bus betreiben. Und das komprimiert auf zwei Kubikmeter, die man mit Strom betreiben und kühlen muss. Das sind schon Herausforderungen, die die Industrie jetzt stellt. Man muss sehen, wie lange das noch weitergeht.

Heiko Ebermann

Weitere Infos zum Thema:

Single Phase Direct Liquid Cooling für KI- und HPC-Rechenzentren

Rittal bringt 1 Megawatt Kühlung in einem Rack unter

Im DataCenter-Diaries-Podcast #34 „über den Sinn und Zweck, den Aufbau einer CDU im Rechenzentrum“ mit Philipp Guth im Gespräch mit Ulrike Ostler, Chefredakteurin von DataCenter-Insider, geht der CTO in der Geschäftsführung von Rittal näher darauf ein, welchen Zweck eine CDU im Rechenzentrum erfüllen kann und warum eine solche Technik gerade jetzt notwendig wird. Außerdem erläutert er einige Besonderheiten des Rittal-Produkts.

Die Podcast-Folge #34 von DataCenter Diaries findet sich auf Spotify, Apple Podcasts, Deezer, Amazon Musik und Google Podcasts.

Flüssiger Übergang in einem Equinix-Datacenter; Ein Rechenzentrum, das sich „gewaschen hat“

Wie stellen Rechenzentren auf Flüssigkühlung um? Wasser und Öl für Server: Schritt für Schritt zum Durchbruch

(ID:50057803)