Mobile-Menu

Server am Dampfen Die Hardware geht auf Tauchstation, die Immersionskühlung wird hot

Von Anna Kobylinska und Filipe Pereira Martins* |

Anbieter zum Thema

Uptime Institute
Thomas-Krenn. AG
Intel Corp.
TSMC Europe B.V.
Fujitsu Technology Solutions GmbH
mehr weniger
Company-Flyout
APC by Schneider electric
Schneider Electric S.A.
AMD Advanced Micro Devices GmbH
AMD Saxony GmbH
Intel Deutschland GmbH
PresseBox - unn | UNITED NEWS NETWORK GmbH
Rosenberger-OSI GmbH & Co. OHG
DC-Datacenter-Group GmbH
weniger

Das Interesse ist da, die Technik auch. Na endlich: Immer mehr Datacenter-Betreiber wollen in die Immersionskühlung eintauchen, um der Energiekrise zu entkommen. Denn die Energie-Effizienz von Flüssigkeits- und Immersionskühlung ist schon sagenumwoben und doch sind diese Technologien noch immer relativ exotisch.

Es gibt kaum etwas Effizienteres für Rechenzentren als Immersionskühlung. Doch in der Regel ist die jeweilige Hardware teurer, die potenzielle Kundschaft scheut den Umgang, für den Schulungen notwendig wäre, die Rechenzentren müssten zum Teil umgebaut werden und die Technik selbst ist bislang kaum standardisiert.
Es gibt kaum etwas Effizienteres für Rechenzentren als Immersionskühlung. Doch in der Regel ist die jeweilige Hardware teurer, die potenzielle Kundschaft scheut den Umgang, für den Schulungen notwendig wäre, die Rechenzentren müssten zum Teil umgebaut werden und die Technik selbst ist bislang kaum standardisiert.
(Bild: KDDI/Gigabyte)

Luft ist ein schlechtes Kühlmittel; man muss schon sehr viel davon bewegen, damit es etwas bewirkt. Bei der Immersionskühlung werden die Server vollständig in Flüssigkeit eingetaucht. Der Ansatz hat sich in HPC-Systemen wie „HPE Apollo“, „Cray“, in Lenovos „Neptune“ und vielen anderen bewährt – und dennoch ist die breitere Adoption bisher ausgeblieben. Fujitsu hatte seine vollständig eingetauchten flüssiggekühlten „Primergy“-Server bereits im Jahre 2018 vorgestellt.

Erfolgreiche Implementierungen hatten zum Teil einen ungewöhnlichen Formfaktor oder sonstige Eigenartigkeiten auch: höhere Kosten vorzuweisen, die einer breiteren Akzeptanz im Wege standen. Standards für Flüssig- und Immersionskühlung versprechen Abhilfe. Und diesSteigende Systemdichte macht die Suche nach Alternativen zur Luftkühlung bei Racks mit einer Leistungsabnahme jenseits von 10 Kilowatt (kW) bis 20 kW praktisch unumgänglich.

Zudem nehmen die Vorteile der Immersionskühlung gerade im Kontext der aktuellen Energiekrise an Bedeutung zu. Die hohe Kühleffizienz flüssiger nichtleitender Kältemittel senkt die direkten Energiekosten dramatisch, zwischen 30 knapp unter 50 Prozent gegenüber luftgekühlten Systemen.

Fortschritte in Sachen PUE sind ins Stocken geraten. Seit rund 2018 hat sich der PUE der jeweils größten Facility der von Uptime Institute befragten Unternehmen kaum verbessert. (n=669).
Fortschritte in Sachen PUE sind ins Stocken geraten. Seit rund 2018 hat sich der PUE der jeweils größten Facility der von Uptime Institute befragten Unternehmen kaum verbessert. (n=669).
(Bild: Uptime Institute: „Global Survey of IT and Data Center Managers 2007 - 2022“)

Außerdem schafft die Immersionskühlung Voraussetzungen für den Rechenzentrumsbetrieb ohne Doppelboden, ohne Klimageräte für Computerräume (CRAC) und ohne Kältemaschinen; sie ermöglicht das Hochtakten von Prozessoren und soll nebenbei das Monetarisieren der Wärmerückgewinnung vereinfachen, versprechen zumindest einige Verfechter.

Das Fazit des Autorenduos

Die Datacenter-Branche will in die Immersionskühlung eintauchen – und kann dies endlich auch relativ sorglos. Der Drang zu einer höheren Systemdichte durch leistungshungrige KI/ML-Arbeitslasten und die steigenden Energiekosten haben es anscheinend vollbracht.

Brennend heiße Aktualität

Die jährliche Umfrage des Uptime Institute vom Oktober 2022 bestätigt das wachsende Interesse der Datacenter-Branche an Flüssig- und Immersionskühlung (Uptime Institute Global Data Center Survey 2022). 46 Prozent der befragten Rechenzentrumsbetreiber nannten Flüssigkühlung – entweder in Form von „direkter Flüssigkeitskühlung“ oder allgemein als „Wärme-Abgabe ins Wasser“ – als den größten Hoffnungsträger für mehr Energie-Effizienz, an zweiter Stelle hinter softwaredefinierter Stromversorgung (50 Prozent der Befragten).

Einen nicht zu unterschätzenden Bremsklotz stellen zu restriktive Garantiebedingungen gängiger Systeme dar. Viele Prozessoren und Server wurden zwar in Tauchumgebungen getestet, aber beim Versagen untergetauchter Komponenten waren Garantieansprüche gegenüber den Herstellern erloschen.

Rund jede/r fünfte der vom Uptime Institute befragten Fachkräfte nennt „Verbesserte Datacenter-Kühlung“ als die wichtigste Einflussgröße im Hinblick auf das Potenzial zur Stärkung der Nachhaltigkeit des Rechenzentrumsbetriebs in den kommenden drei bis fünf Jahren. (n=667).
Rund jede/r fünfte der vom Uptime Institute befragten Fachkräfte nennt „Verbesserte Datacenter-Kühlung“ als die wichtigste Einflussgröße im Hinblick auf das Potenzial zur Stärkung der Nachhaltigkeit des Rechenzentrumsbetriebs in den kommenden drei bis fünf Jahren. (n=667).
(Bild: Uptime Institute: „Global Survey of IT and Data Center Managers 2007 - 2022“)

Eine der Herausforderungen stellt die fehlende Standardisierung der Eigenschaften der Eintauchflüssigkeit dar. Jede Komponente tritt mit diesem Kühlmittel zwangsweise in Kontakt und jede muss sich damit vertragen, wenn das System als Ganzes funktionieren soll. Eine weitere Herausforderung ist die Gewährleistung einer im mehrfachen Sinne „tragfähigen“ Gewichtsverteilung.

Neues von Gigybyte

Anfang November 2022 hat Gigabyte Technology, Anbieter von Hochleistungsservern und Workstations, seine gerade erst im August 2022 vorgestellte Reihe von Servern für einphasige Flüssigkeitskühlung um einen GPU-beschleunigten immersionsfähigen Server, den „G152-Z12“, und zwei Immersionskühltanks für einphasige Eintauchkühlung ergänzt.

Der „25U-EIA“-Tank unterstützt einen einzelnen 21U-Rack und vier 1U-Racks nach EIA. Der „18OU-OCP“-Tank nimmt einen 18OU-OCP-Rack, ein 2OU-Power-Gehäuse und zwei 1U-Racks nach EIA auf.

Die beiden Eintauchkühltanks sind mit mehreren internen Sensoren ausgestattet, die eine intelligente Temperaturregelung ermöglichen. Gemeinsam mit zwei redundanten Pumpen halten sie die Innentemperatur des Kühlmittels im Tank bei 35 Grad. Ein Tank kann bis zu 80kW Wärme abführen und belegt nur eine Fläche von 2 m x 0,9 m. Die immersionsfähigen Systeme von Gigabyte sind kompatibel mit Lösungen seiner Technologiepartner Submer, Asperitas und GRC (Green Revolution Cooling).

Gemeinsam mit dem japanischen Telekommunikationsriesen KDDI hat Gigabyte auch schon eine neue Kategorie von „eingetauchten“ mobilen Rechenzentren mit einphasiger Immersionskühlung entwickelt. Das Kühlsystem dieser Lösung reduziert den Stromverbrauch um 43 Prozent und bringt den PUE unter 1,07. Gigabyte Technology hat KDDI für dieses Projekt die Rack-Server „R282-Z93“ und „R182-Z91“ mit AMD „Epyc“-CPUs der dritten Generation und Nvidia GPUs als Management- und GPU-Computing-Knoten zur Verfügung gestellt.

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu RZ- und Server-Technik

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung.

Aufklappen für Details zu Ihrer Einwilligung

KDDI kühlt immersiv mit der Technik von Gigabyte.
KDDI kühlt immersiv mit der Technik von Gigabyte.
(Bild: KDDI/Gigabyte)

Gemeinsam mit Delta Electronics (Energie- und Wärmemanagement), Accton Technology (Netzwerk und Kommunikation), Mirle Automation Corp (Automatisierung) und 3M (Anbieter von innovativen synthetischen Kältemitteln) hat Gigabyte auch eine Zwei-Phasen-Tauchkühlungslösung für HPC im Auftrag der taiwanesischen Halbleiterschmiede TSMC entwickelt.

Diese Zweiphasen-Immersionskühlung, die Gigabyte für TSMC entwickelt hat, bringt Einsparungen des Energieverbrauchs von bis zu 30 Prozent und drückt den PUE-Wert unter 1,08.
Diese Zweiphasen-Immersionskühlung, die Gigabyte für TSMC entwickelt hat, bringt Einsparungen des Energieverbrauchs von bis zu 30 Prozent und drückt den PUE-Wert unter 1,08.
(Bild: Gigabyte)

Seit Anfang 2022 ist die erste Implementierung in Betrieb. Das Kühlsystem konnte den Energieverbrauch um rund einen Drittel (30 Prozent) senken, die effektive Compute-Leistung um 10 Prozent anheben und verspricht, bei Server-Upgrades die Menge an anfallendem Elektroschrott um die Hälfte (50 Prozent) zu reduzieren.

In diese Steckplätze der Zweiphasen-Tauchkühlungslösung von Gigabyte kommen Server-Motherboards mit „AMD Epyc“-Prozessoren hinein. Da die Immersionskühlung die Wärme effektiver abführt, können die CPUs mit maximaler Kapazität arbeiten, also 10 Prozent schneller als sonst möglich.
In diese Steckplätze der Zweiphasen-Tauchkühlungslösung von Gigabyte kommen Server-Motherboards mit „AMD Epyc“-Prozessoren hinein. Da die Immersionskühlung die Wärme effektiver abführt, können die CPUs mit maximaler Kapazität arbeiten, also 10 Prozent schneller als sonst möglich.
(Bild: Gigabyte)

Feuer und Flamme

Nach jahrelangem Tüfteln an Pilotprojekten will auch Intel der Immersionskühlung grünes Licht geben. Der Chip-Riese entwickelt unter anderem unter der Schirmherrschaft von OCP gemeinsam mit anderen Unternehmen industrieweite Standards. OCP (Open Compute Project) zählt im Übrigen mittlerweile mehr als dreihundert Mitglieder und ist auf dem Weg, das Ökosystem der Teilnehmer von 18 Milliarden Dollar im Jahre 2021 auf 36 Milliarden in 2026 auszubauen.

Intel geht mit gutem Beispiel voran. Im Rahmen seiner 700 Millionen starken Nachhaltigkeitsinitiative will der Chip-Riese ein „Megalabor“ errichten, um unter anderem eben mit dem Eintauchen der eigenen Chips zu experimentieren. Die Einrichtung ist auf einen Fußabdruck von 18.580 Quadratmetern ausgelegt.

Rund jede/r fünfte der vom Uptime Institute befragten Fachkräfte nennt „Verbesserte Datacenter-Kühlung“ als die wichtigste Einflussgröße im Hinblick auf das Potenzial zur Stärkung der Nachhaltigkeit des Rechenzentrumsbetriebs in den kommenden drei bis fünf Jahren. (n=667).
Rund jede/r fünfte der vom Uptime Institute befragten Fachkräfte nennt „Verbesserte Datacenter-Kühlung“ als die wichtigste Einflussgröße im Hinblick auf das Potenzial zur Stärkung der Nachhaltigkeit des Rechenzentrumsbetriebs in den kommenden drei bis fünf Jahren. (n=667).
(Bild: Uptime Institute: „Global Survey of IT and Data Center Managers 2007 - 2022“)

In Zusammenarbeit mit Submer, dem Anbieter von Präzisionskühltechnik, untersucht Intel die Wärmerückgewinnung von „Xeon“-basierten tauchoptimierten Server-Boards. Im Rahmen der Zusammenarbeit will der Chip-Riese offene Standards für skalierbare Datacenter-Implementierungen entwickeln, die sämtliche Rechenzentren von der Cloud bis hin zur Edge abdecken sollen. Intel will hierzu sein globales Partnernetzwerk anzapfen, um widerstandsfähige Lieferketten aufzubauen.

Was macht Iceotope?

Gemeinsam mit Iceotope will Intel die „Proliant“-Serverlinie von HPE mit Immersionskühlungstechnologie ausstatten. Die ersten Resultate gab es auf dem Intel-Stand auf der HPE Discover 2022 zu bewundern, die im Juni in Las Vegas stattfand.

Hier stellte Iceotope das Präzisionskühlsystem „Ku:l“ aus. Die Zusammenarbeit zwischen Iceotope, Intel und HPE soll Datacenter-Betreibern „einen schnelleren Weg zu einem Netto-Null-Betrieb“ durch die Reduktion des Energieverbrauchs von Edge- und Rechenzentren „um fast ein Drittel“ bieten (siehe auch den Bericht „Stühlerücken bei HPE“).

Die weltweit erste Lösung zur Flüssigkeitskühlung auf Chassis-Ebene hat Eco Datacenter bereits im Jahre 2020 in Betrieb genommen. Iceotope hatte sie damals mit Schneider Electric und Avnet entwickelt.

„Ku:l“ unter die Haube geschaut: die Präzisionstauchkühlung von Iceotope sieht nebenbei auch noch gut aus.
„Ku:l“ unter die Haube geschaut: die Präzisionstauchkühlung von Iceotope sieht nebenbei auch noch gut aus.
(Bild: Iceotope)

Gemeinsam mit GRC (Green Revolution Cooling) hat Intel den Einsatz von hauseigenen Prozessoren mit GRC-Kühlung im Hinblick auf die Nachhaltigkeit des Rechenzentrumsbetriebs untersucht. Die beiden Unternehmen haben ihre Erkenntnisse sind in einem Whitepaper veröffentlicht, um Datacenter-Betreiber für Immersionskühlung 'aufzuwärmen'.

Im Mai stellte Intel eine Proof-of-Concept-Anlage für Immersionskühlung in Taiwan vor. Sie bildet die Grundlage für die Entwicklung von Referenzdesigns für Rechenzentren weltweit. Intel ist bei seinen Bemühungen nicht allein. Bei Immersionskühlung ist die ganze Branche momentan Feuer und Flamme.

Die Unterschiede

Es gibt zwei Arten der Flüssigkeitstauchkühlung: einphasig und zweiphasig. Bei der einphasigen Flüssigkeitstauchkühlung wird die Kühlflüssigkeit in einen Wärmetauscher gepumpt, ohne dabei zu verdampfen (kein Phasenwechsel); die Abwärme überträgt sich hier an einen Kühlwasserkreislauf und wird so abgeführt.

Bei der Zweiphasen-Tauchkühlung verdampft das flüssige Eintauchkühlmittel an der Oberfläche des Bades (Phasenwechsel); beim Abkühlen kondensiert es wieder (wieder ein Phasenwechsel) und kehrt dann in das Bad zurück. Die Zweiphasenkühlung kann etwas effizienter sein als die Einphasenkühlung. Dafür sind Einphasen-Tauchkühlsysteme oft wartungsfreundlicher.

Das Eintauchkühlmittel muss nicht-leitend sein. In Frage kommen Mineralöle, Silikon oder synthetische dielektrische Mischungen.

Flüssigkühlung – als „Direkte Flüssigkeitskühlung“ (36 Prozent der Befragten) oder „Wärme-Abgabe ins Wasser“ (10 Prozent der Befragten), zusammengerechnet – ist der zweitgrößte Hoffnungsträger der Energie-Effizienz, knapp hinter softwaredefinierter Stromversorgung (50 Prozent der Befragten).
Flüssigkühlung – als „Direkte Flüssigkeitskühlung“ (36 Prozent der Befragten) oder „Wärme-Abgabe ins Wasser“ (10 Prozent der Befragten), zusammengerechnet – ist der zweitgrößte Hoffnungsträger der Energie-Effizienz, knapp hinter softwaredefinierter Stromversorgung (50 Prozent der Befragten).
(Bild: Uptime Institute: „Global Survey of IT and Data Center Managers 2007 - 2022“)

Eintauchkühlung ist nur eine von mehreren Methoden der Flüssigkühlung. Nicht jeder Rechenzentrumsbetreiber ist bereit, mit den eigenen Servern gleich baden zu gehen.

Abwärme „verflüssigen“

Die Thomas-Krenn AG verbaut in seinen Servern Heißwasser-Direktkühlung von Cloud&Heat. Die Lösung basiert auf einem hydraulischen Kreislauf und passiven Kühlkörpern, die auf Standardkomponenten des Servers (vor allem CPUs und Arbeitsspeichermodulen) montiert werden.

Bildergalerie

Diese Direkt-Heißwasserkühlung führt die thermische Leistung der IT-Komponenten unmittelbar dort ab, wo Hitze entsteht, und trumpft dadurch mit hohen Temperaturen. Das neueste Cooling-Kit „Liquid Cooled Server“ LCS von Cloud&Heat, welches im 2-HE-Intel-Dual-CPU-Server „RI2208“ von Thomas-Krenn zum Einsatz kommt, ist beispielsweise auf eine Austrittstemperatur von 60 Grad des Wassers ausgelegt.

Das Kühlsystem von Cloud&Heat arbeitet geräuschlos und kommt ohne Lüfter aus. Dadurch hat sich die Lösung unter anderem in staubgeschützten Edge-Systemen bewährt. Die wassergekühlten Server von Thomas-Krenn erhielten für ihre Energieeffizienz den begehrten Umweltgütesiegel vom Blauen Engel.

Eine ähnliche Lösung bietet im Übrigen die Stulz GmbH aus Hamburg in Zusammenarbeit mit der kanadischen CoolIT Systems, die auf eine installierte Basis von rund 2 Millionen Modulen verweisen kann.

Um Flüssigkühlung zu implementieren, braucht man keine besonderen Tanks. Die Server bleiben in ihren Racks. Die Flüssigkühlung von Cloud&Heat soll sich sogar in bestehenden Systemen nachrüsten lassen, verspricht Thomas-Krenn für die eigenen Systeme.

Flüssigkühlung und Co-Location

Flüssigkühlung und Co-Location müssen sich nicht gegenseitig ausschließen. Der Spezialist für High-Density-Kühlung Colovore hat Anfang November angekündigt, im größten Cloud-Hub des Silicon Valley, Santa Clara, eine 9-Megawatt-Anlage errichten zu wollen, die für den Betrieb von flüssigkeitsgekühlten KI-Workloads durch Co-Location-Kunden optimiert sein soll.

Das neue Rechenzentrum wird es den Mandanten ermöglichen, Racks mit einer Leistungsdichte von je 50 kW unter Verwendung von wassergekühlten Rücktür-Kühleinheiten zu installieren, mit der Möglichkeit, die Leistungsdichte durch direkte Flüssigkeitskühlung (DLC) auf satte 250 kW pro Rack zu erhöhen.

Der Markt für Flüssigkeitskühlung soll laut den Marktanalysten des DCIM-Anbieters Sunbird in den nächsten Jahren mit einer CAGR von mehr als 20 Prozent wachsen und bis zum Jahre 2028 einen Umsatzvolumen in Höhe von 7 Milliarden Dollar erreichen.

*Das Autorenduo Anna Kobylinska und Filipe Pereia Martins arbeitet für McKinley Denali Inc. (USA).

(ID:48862724)

Weiterführende Inhalte