Server am Dampfen Die Hardware geht auf Tauchstation, die Immersionskühlung wird hot

Anbieter zum Thema

Stäubli Fluid Connectors

Rosenberger-OSI GmbH & Co. OHG

DC-Datacenter-Group GmbH

Intel Deutschland GmbH

AMD Advanced Micro Devices GmbH

mehr weniger

AMD Saxony GmbH

APC by Schneider electric

Schneider Electric S.A.

Fujitsu Technology Solutions GmbH

TSMC Europe B.V.

Intel Corp.

Thomas-Krenn. AG

Uptime Institute

weniger

Das Interesse ist da, die Technik auch. Na endlich: Immer mehr Datacenter-Betreiber wollen in die Immersionskühlung eintauchen, um der Energiekrise zu entkommen. Denn die Energie-Effizienz von Flüssigkeits- und Immersionskühlung ist schon sagenumwoben und doch sind diese Technologien noch immer relativ exotisch.

Luft ist ein schlechtes Kühlmittel; man muss schon sehr viel davon bewegen, damit es etwas bewirkt. Bei der Immersionskühlung werden die Server vollständig in Flüssigkeit eingetaucht. Der Ansatz hat sich in HPC-Systemen wie „HPE Apollo“, „Cray“, in Lenovos „Neptune“ und vielen anderen bewährt – und dennoch ist die breitere Adoption bisher ausgeblieben. Fujitsu hatte seine vollständig eingetauchten flüssiggekühlten „Primergy“-Server bereits im Jahre 2018 vorgestellt.

Erfolgreiche Implementierungen hatten zum Teil einen ungewöhnlichen Formfaktor oder sonstige Eigenartigkeiten auch: höhere Kosten vorzuweisen, die einer breiteren Akzeptanz im Wege standen. Standards für Flüssig- und Immersionskühlung versprechen Abhilfe. Und diesSteigende Systemdichte macht die Suche nach Alternativen zur Luftkühlung bei Racks mit einer Leistungsabnahme jenseits von 10 Kilowatt (kW) bis 20 kW praktisch unumgänglich.

Zudem nehmen die Vorteile der Immersionskühlung gerade im Kontext der aktuellen Energiekrise an Bedeutung zu. Die hohe Kühleffizienz flüssiger nichtleitender Kältemittel senkt die direkten Energiekosten dramatisch, zwischen 30 knapp unter 50 Prozent gegenüber luftgekühlten Systemen.

Außerdem schafft die Immersionskühlung Voraussetzungen für den Rechenzentrumsbetrieb ohne Doppelboden, ohne Klimageräte für Computerräume (CRAC) und ohne Kältemaschinen; sie ermöglicht das Hochtakten von Prozessoren und soll nebenbei das Monetarisieren der Wärmerückgewinnung vereinfachen, versprechen zumindest einige Verfechter.

Brennend heiße Aktualität

Die jährliche Umfrage des Uptime Institute vom Oktober 2022 bestätigt das wachsende Interesse der Datacenter-Branche an Flüssig- und Immersionskühlung (Uptime Institute Global Data Center Survey 2022). 46 Prozent der befragten Rechenzentrumsbetreiber nannten Flüssigkühlung – entweder in Form von „direkter Flüssigkeitskühlung“ oder allgemein als „Wärme-Abgabe ins Wasser“ – als den größten Hoffnungsträger für mehr Energie-Effizienz, an zweiter Stelle hinter softwaredefinierter Stromversorgung (50 Prozent der Befragten).

Einen nicht zu unterschätzenden Bremsklotz stellen zu restriktive Garantiebedingungen gängiger Systeme dar. Viele Prozessoren und Server wurden zwar in Tauchumgebungen getestet, aber beim Versagen untergetauchter Komponenten waren Garantieansprüche gegenüber den Herstellern erloschen.

Eine der Herausforderungen stellt die fehlende Standardisierung der Eigenschaften der Eintauchflüssigkeit dar. Jede Komponente tritt mit diesem Kühlmittel zwangsweise in Kontakt und jede muss sich damit vertragen, wenn das System als Ganzes funktionieren soll. Eine weitere Herausforderung ist die Gewährleistung einer im mehrfachen Sinne „tragfähigen“ Gewichtsverteilung.

Neues von Gigybyte

Anfang November 2022 hat Gigabyte Technology, Anbieter von Hochleistungsservern und Workstations, seine gerade erst im August 2022 vorgestellte Reihe von Servern für einphasige Flüssigkeitskühlung um einen GPU-beschleunigten immersionsfähigen Server, den „G152-Z12“, und zwei Immersionskühltanks für einphasige Eintauchkühlung ergänzt.

Der „25U-EIA“-Tank unterstützt einen einzelnen 21U-Rack und vier 1U-Racks nach EIA. Der „18OU-OCP“-Tank nimmt einen 18OU-OCP-Rack, ein 2OU-Power-Gehäuse und zwei 1U-Racks nach EIA auf.

Die beiden Eintauchkühltanks sind mit mehreren internen Sensoren ausgestattet, die eine intelligente Temperaturregelung ermöglichen. Gemeinsam mit zwei redundanten Pumpen halten sie die Innentemperatur des Kühlmittels im Tank bei 35 Grad. Ein Tank kann bis zu 80kW Wärme abführen und belegt nur eine Fläche von 2 m x 0,9 m. Die immersionsfähigen Systeme von Gigabyte sind kompatibel mit Lösungen seiner Technologiepartner Submer, Asperitas und GRC (Green Revolution Cooling).

Castrol schmiert auch Server

Schmierstoffhersteller flutscht ins Business mit Immersionskühlung

Zum Abtauchen

Asperitas-Immersionskühlung erfüllt alle OCP-Kriterien

Überblick über das Angebot an Tauchbädern

Server gehen immer öfter baden

Gemeinsam mit dem japanischen Telekommunikationsriesen KDDI hat Gigabyte auch schon eine neue Kategorie von „eingetauchten“ mobilen Rechenzentren mit einphasiger Immersionskühlung entwickelt. Das Kühlsystem dieser Lösung reduziert den Stromverbrauch um 43 Prozent und bringt den PUE unter 1,07. Gigabyte Technology hat KDDI für dieses Projekt die Rack-Server „R282-Z93“ und „R182-Z91“ mit AMD „Epyc“-CPUs der dritten Generation und Nvidia GPUs als Management- und GPU-Computing-Knoten zur Verfügung gestellt.

Gemeinsam mit Delta Electronics (Energie- und Wärmemanagement), Accton Technology (Netzwerk und Kommunikation), Mirle Automation Corp (Automatisierung) und 3M (Anbieter von innovativen synthetischen Kältemitteln) hat Gigabyte auch eine Zwei-Phasen-Tauchkühlungslösung für HPC im Auftrag der taiwanesischen Halbleiterschmiede TSMC entwickelt.

Seit Anfang 2022 ist die erste Implementierung in Betrieb. Das Kühlsystem konnte den Energieverbrauch um rund einen Drittel (30 Prozent) senken, die effektive Compute-Leistung um 10 Prozent anheben und verspricht, bei Server-Upgrades die Menge an anfallendem Elektroschrott um die Hälfte (50 Prozent) zu reduzieren.

Feuer und Flamme

Nach jahrelangem Tüfteln an Pilotprojekten will auch Intel der Immersionskühlung grünes Licht geben. Der Chip-Riese entwickelt unter anderem unter der Schirmherrschaft von OCP gemeinsam mit anderen Unternehmen industrieweite Standards. OCP (Open Compute Project) zählt im Übrigen mittlerweile mehr als dreihundert Mitglieder und ist auf dem Weg, das Ökosystem der Teilnehmer von 18 Milliarden Dollar im Jahre 2021 auf 36 Milliarden in 2026 auszubauen.

Intel geht mit gutem Beispiel voran. Im Rahmen seiner 700 Millionen starken Nachhaltigkeitsinitiative will der Chip-Riese ein „Megalabor“ errichten, um unter anderem eben mit dem Eintauchen der eigenen Chips zu experimentieren. Die Einrichtung ist auf einen Fußabdruck von 18.580 Quadratmetern ausgelegt.

In Zusammenarbeit mit Submer, dem Anbieter von Präzisionskühltechnik, untersucht Intel die Wärmerückgewinnung von „Xeon“-basierten tauchoptimierten Server-Boards. Im Rahmen der Zusammenarbeit will der Chip-Riese offene Standards für skalierbare Datacenter-Implementierungen entwickeln, die sämtliche Rechenzentren von der Cloud bis hin zur Edge abdecken sollen. Intel will hierzu sein globales Partnernetzwerk anzapfen, um widerstandsfähige Lieferketten aufzubauen.

Was macht Iceotope?

Gemeinsam mit Iceotope will Intel die „Proliant“-Serverlinie von HPE mit Immersionskühlungstechnologie ausstatten. Die ersten Resultate gab es auf dem Intel-Stand auf der HPE Discover 2022 zu bewundern, die im Juni in Las Vegas stattfand.

HPE Proliant-Server im Immersionskühlungsbad

Lenovo- und HPE-Server Ice(otope)-gekühlt

Schneider Electric All-In-One-Datacenter-Modul mit integrierter Immersionskühlung

20-Fuß-Container fasst IT-Lasten mit bis zu 60 Kilowatt

Hier stellte Iceotope das Präzisionskühlsystem „Ku:l“ aus. Die Zusammenarbeit zwischen Iceotope, Intel und HPE soll Datacenter-Betreibern „einen schnelleren Weg zu einem Netto-Null-Betrieb“ durch die Reduktion des Energieverbrauchs von Edge- und Rechenzentren „um fast ein Drittel“ bieten (siehe auch den Bericht „Stühlerücken bei HPE“).

Die weltweit erste Lösung zur Flüssigkeitskühlung auf Chassis-Ebene hat Eco Datacenter bereits im Jahre 2020 in Betrieb genommen. Iceotope hatte sie damals mit Schneider Electric und Avnet entwickelt.

Gemeinsam mit GRC (Green Revolution Cooling) hat Intel den Einsatz von hauseigenen Prozessoren mit GRC-Kühlung im Hinblick auf die Nachhaltigkeit des Rechenzentrumsbetriebs untersucht. Die beiden Unternehmen haben ihre Erkenntnisse sind in einem Whitepaper veröffentlicht, um Datacenter-Betreiber für Immersionskühlung 'aufzuwärmen'.

Im Mai stellte Intel eine Proof-of-Concept-Anlage für Immersionskühlung in Taiwan vor. Sie bildet die Grundlage für die Entwicklung von Referenzdesigns für Rechenzentren weltweit. Intel ist bei seinen Bemühungen nicht allein. Bei Immersionskühlung ist die ganze Branche momentan Feuer und Flamme.

Die Unterschiede

Es gibt zwei Arten der Flüssigkeitstauchkühlung: einphasig und zweiphasig. Bei der einphasigen Flüssigkeitstauchkühlung wird die Kühlflüssigkeit in einen Wärmetauscher gepumpt, ohne dabei zu verdampfen (kein Phasenwechsel); die Abwärme überträgt sich hier an einen Kühlwasserkreislauf und wird so abgeführt.

Bei der Zweiphasen-Tauchkühlung verdampft das flüssige Eintauchkühlmittel an der Oberfläche des Bades (Phasenwechsel); beim Abkühlen kondensiert es wieder (wieder ein Phasenwechsel) und kehrt dann in das Bad zurück. Die Zweiphasenkühlung kann etwas effizienter sein als die Einphasenkühlung. Dafür sind Einphasen-Tauchkühlsysteme oft wartungsfreundlicher.

Das Eintauchkühlmittel muss nicht-leitend sein. In Frage kommen Mineralöle, Silikon oder synthetische dielektrische Mischungen.

Eintauchkühlung ist nur eine von mehreren Methoden der Flüssigkühlung. Nicht jeder Rechenzentrumsbetreiber ist bereit, mit den eigenen Servern gleich baden zu gehen.

Abwärme „verflüssigen“

Die Thomas-Krenn AG verbaut in seinen Servern Heißwasser-Direktkühlung von Cloud&Heat. Die Lösung basiert auf einem hydraulischen Kreislauf und passiven Kühlkörpern, die auf Standardkomponenten des Servers (vor allem CPUs und Arbeitsspeichermodulen) montiert werden.

Bildergalerie

Diese Direkt-Heißwasserkühlung führt die thermische Leistung der IT-Komponenten unmittelbar dort ab, wo Hitze entsteht, und trumpft dadurch mit hohen Temperaturen. Das neueste Cooling-Kit „Liquid Cooled Server“ LCS von Cloud&Heat, welches im 2-HE-Intel-Dual-CPU-Server „RI2208“ von Thomas-Krenn zum Einsatz kommt, ist beispielsweise auf eine Austrittstemperatur von 60 Grad des Wassers ausgelegt.

Das Kühlsystem von Cloud&Heat arbeitet geräuschlos und kommt ohne Lüfter aus. Dadurch hat sich die Lösung unter anderem in staubgeschützten Edge-Systemen bewährt. Die wassergekühlten Server von Thomas-Krenn erhielten für ihre Energieeffizienz den begehrten Umweltgütesiegel vom Blauen Engel.

Thomas-Krenn.AG und Cloud&Heat Technologies GmbH erhalten Umweltzeichen des Bundes

Premiere: Der erste „Blauer Engel“ für Server

Eine ähnliche Lösung bietet im Übrigen die Stulz GmbH aus Hamburg in Zusammenarbeit mit der kanadischen CoolIT Systems, die auf eine installierte Basis von rund 2 Millionen Modulen verweisen kann.

Um Flüssigkühlung zu implementieren, braucht man keine besonderen Tanks. Die Server bleiben in ihren Racks. Die Flüssigkühlung von Cloud&Heat soll sich sogar in bestehenden Systemen nachrüsten lassen, verspricht Thomas-Krenn für die eigenen Systeme.

Flüssigkühlung und Co-Location

Flüssigkühlung und Co-Location müssen sich nicht gegenseitig ausschließen. Der Spezialist für High-Density-Kühlung Colovore hat Anfang November angekündigt, im größten Cloud-Hub des Silicon Valley, Santa Clara, eine 9-Megawatt-Anlage errichten zu wollen, die für den Betrieb von flüssigkeitsgekühlten KI-Workloads durch Co-Location-Kunden optimiert sein soll.

Das neue Rechenzentrum wird es den Mandanten ermöglichen, Racks mit einer Leistungsdichte von je 50 kW unter Verwendung von wassergekühlten Rücktür-Kühleinheiten zu installieren, mit der Möglichkeit, die Leistungsdichte durch direkte Flüssigkeitskühlung (DLC) auf satte 250 kW pro Rack zu erhöhen.

Der Markt für Flüssigkeitskühlung soll laut den Marktanalysten des DCIM-Anbieters Sunbird in den nächsten Jahren mit einer CAGR von mehr als 20 Prozent wachsen und bis zum Jahre 2028 einen Umsatzvolumen in Höhe von 7 Milliarden Dollar erreichen.

*Das Autorenduo Anna Kobylinska und Filipe Pereia Martins arbeitet für McKinley Denali Inc. (USA).

(ID:48862724)