Direct-to-Chip-Kühlung, in mehr als 100 der Equinix-Rechenzentren „Immersive Erlebniswelten“, die normalste Sache der Welt

Anbieter zum Thema

Equinix (Germany) GmbH

Vertiv GmbH

DAXTEN GmbH

EPS Rechenzentrum Infrastruktur GmbH

In Sachen Datacenter-Kühlung haben manche das Wasser bis zum Hals stehen - im übertragenen Sinne versteht sich. Seit KI-Workloads den Chips kräftig einheizen, wagen einige Betreiber den „Sprung“ in ein flüssiges Kühlmittel. Durch manche Serverräume muss man schon jetzt in Gummistiefeln waten.

Das regulatorische Rahmenwerk in Deutschland hebt die Nachhaltigkeitsstandards an und fordert damit eine Modernisierung der Kühltechnik (siehe: „Zero-Emissionen oder gar Klima-positiv”). Datacenter-Betreiber müssen also handeln. Alle Augen richten sich auf die Vorreiter der „Verflüssigung“, auf ihre Herausforderungen, Erfolge und Missgeschicke.

„Immersive Erlebniswelten“ bei Rhodium

Rhodium Enterprises („Rhodium“), ein Technologie-Unternehmen aus dem U.S.-Bundesstaat Texas, verdient seine Brötchen mit Bitcoin-Mining. Auf dem Weg zur betrieblichen Effizienz hat man unterschiedliche Ansätze der Serverkühlung durchprobiert. Im Endeffekt wagte man den Sprung in das kalte Becken: Rhodium Enterprises setzt auf direktes Eintauchen der Server in ein flüssiges Kühlmittel.

In Sachen Effizienz ist der Ansatz bisher unschlagbar, einziges Problem: Man braucht „Sanitärtechnik“ von extremer Zuverlässigkeit - konkret: ein umfangreiches Rohrleitungsnetz mit Dauerbeständigkeit gegen Korrosion, Chemikalien und Hitze (siehe dazu auch: „Die Hardware geht auf Tauchstation, die Immersionskühlung wird hot“).

Für ihr jüngstes Rechenzentrumsprojekt in Temple (Texas, USA) hat Rhodium Enterprises die Firma Georg Fischer Piping Systems (GFPS) aus der Schweiz zu Rate gezogen. Die weltweit führende Expertin für angewandte Thermodynamik entwickelt unter anderem Rohrleitungssysteme für die Flüssigkeitskühlung von Server-Racks.

Die Datacenter-Anlage von Rhodium Enterprises brauchte für die immersive Kühlung mehrere Kilometer an CPVC-Rohren; für die Schweizer Spezialistin war es ein Heimspiel. Georg Fischer Piping Systems lieferte vormontierte Seitenteile und Spool-Stücke in 'Schedule 80 Chlorfit', einer speziellen hochdruckbeständigen Art von Rohren für industrielle Anwendungen (80 ist die Wandstärke; Chlorfit deutet auf die Eignung für den Transport von chloriertem Wasser oder anderen korrosiven Flüssigkeiten hin). Um die Installationszeit vor Ort zu verkürzen, hat GF Piping Systems 17.000 Verbindungen Off-site vor der Lieferung verklebt.

Keine Probleme, die nicht zu bekämpfen wären

Die Verwendung von „Flüssigkeits-betriebenen“ Kühlungssystemen bietet zwar klare Effizienzvorteile, bringt aber auch Sicherheits- und Zuverlässigkeitsprobleme mit sich. So kann ein Kühlmittel wie Wasser die Elektronik beschädigen, sollte es aus dem geschlossenen Kreislauf austreten.

Um die Integrität eines Rohrsystems nachzuweisen, nutzt die GFPS in ihren Vorfertigungswerkstätten eine Ultraschall-NDT-Lösung. Diese Technik liefert einen wissenschaftlichen Nachweis für die Schweißqualität am Installationspunkt.

Das texanische Unternehmen behauptet, dass seine Tauchkühlung die mechanische Lebensdauer seiner Miner um 30 Prozent bis 50 Prozent im Vergleich zu den Herstellerspezifikationen verlängert haben soll. Die IT sei vor hohen Temperaturen, Feuchtigkeit, Staub und Vibrationen geschützt, die alle zu Schäden und Ausfällen führen könnten, hieß es in einer Meldung an die Investoren.

Die in eigenen Worten des Unternehmens „überlegene“ Effizienz seiner Flüssigkeitskühlungstechnologie habe es ihm ermöglicht, in Gebieten zu arbeiten, die für Wettbewerber mit luftgekühlten Systemen unzugänglich seien. So konnte der Betreiber seine Präsenz in Texas ausbauen, wo die Temperaturen zwar hoch sind, aber wo die erneuerbare Energieerzeugung auf vollen Touren läuft (siehe dazu auch den Bericht zu „Mit CPU-Schwung aus den Startlöchern. Von Sapphire bis Ponte Vecchio: das Performance-optimierte Rechenzentrum“.

Wo der Pfeffer wächst (oder die Paprika)

Ein niederländischer Paprikaproduzent war auf ein 2 Megawatt-BHKW (Blockheizkraftwerk) und einen Gaskessel zur Deckung des Wärmebedarfs in den Gewächshäusern angewiesen – auf 10 Hektar Fläche. Die Lösung: „eine Greenbox“.

Die Greenbox, ein Flaggschiff-Produkt der Greentech Technologies AG, ist ein modulares Tauchkühlungsrechenzentrum. Es macht sich eine proprietäre Wärmerückgewinnungs- und Lastenausgleichstechnologie zu Nutze, um bis zu 97 Prozent der Abwärme aus dem IT-Betrieb zurückzugewinnen. Das ermöglicht den Weiterverkauf der Energie an Wärmebenutzer, die ihre Heizkosten senken möchten.

Das modulare Rechenzentrum wurde in der Nähe der Gewächshäuser eingerichtet und an das Blockheizkraftwerk des Paprikaproduzenten angeschlossen, damit sie sich davon mit Strom versorgte. Nach der Installation fiel der Energieverbrauch der Heizung der Gewächshäuser um 30,1 Prozent; der Paprikaproduzent konnte so 930.014 Kubikmeter Gas sparen.

Durch den Weiterverkauf überschüssiger Wärme fiel die Stromrechnung um 80 Prozent. Dank der effizienten Tauchkühlung ließ sich die Hardware um 86 Prozent übertakten. Der Lastenausgleich generiert jetzt zusätzliche Einnahmen von 73 Euro pro Stunde durch die Netzstabilisierung, indem es sowohl das Potenzial des gasbetriebenen Blockheizkraftwerkes (BHKW) als auch der Greenbox ausschöpft.

Die Greenbox erreicht einen Rekord-PUE-Wert von 1,02 und läuft völlig geräuschlos – auch dort eben, wo der Pfeffer wächst (oder die Paprika). „Unsere Technologie ist die moderne grüne Alternative zu einem elektrischen Kessel“, freut sich die Unternehmensführung und verspricht den Nutzern „gleichzeitig mehrere zusätzliche Einnahmequellen“. Die Anpassungsfähigkeit an Veränderungen in den Energiepreisen und die Diversifizierung der Einnahmen böten demnach „unschlagbare Vorteile gegenüber herkömmlichen Alternativen“.

Die normalste Sache der Welt

Analysten zufolge wird Flüssigkühlung innerhalb gerade einmal der nächsten vier Jahre zur normalsten Sache der Welt. Vor drei Jahren (2021) betrug der weltweite Umsatz mit Tauchkühlung von Rechenzentren schätzungsweise magere 251 Millionen Dollar.

Im Prognosezeitraum bis 2027 erwarten die Analysten von ResearchAndMarkets eine jährliche Wachstumsrate (CAGR) von erstaunlichen 36,3 Prozent. Das Marktvolumen steuert damit auf einen Wert von über 1,6 Milliarden Dollar im Jahre 2027. Doch der Übergang von „heißer Luft“ zur Flüssigkühlung wird abrupt sein.

Traditionelle Luftkühlungsmethoden, die für Konfigurationen bis zu 10 Kilowatt pro Rack ausreichend waren, stoßen mit steigender Dichte unweigerlich an ihre Grenzen. Das Wachstum des High-Performance Computings (HPC) und die steigende Nachfrage von generativen KI-Anwendungen treiben den Energiebedarf häufig über 30 Kilowatt pro Rack hinaus. Diese Entwicklung weckt das Interesse an effizienteren Kühlmethoden, wie der Flüssigkühlung, um die von diesen leistungsstärkeren und dicht gepackten Rechenressourcen erzeugte Wärme zu bewältigen.

Rack-Konfigurationen können mittlerweile leicht den 40-Kilowatt-Bereich überschreiten (sogar um das Mehrfache). Ein flüssiges Kühlmittel ist laut Gartner bis zu 3.000-mal effektiver als ein Wärmeleiter im Vergleich zur Luft. Und doch können sich Datacenter-Betreiber bei der Messung ihres neuen Leistungswunders täuschen!

(I)TUE, damit man die Effizienz nicht mit dem Badewasser ausschüttet!

Branchenanalysten beginnen, im Gespräch mit Kunden den TUE-Wert zu thematisieren. Denn für die Beurteilung der Energie-Effizienz eines Rechenzentrums greift der PUE-Wert zu kurz (siehe dazu auch den Bericht „Energie sparen durch bessere Auslastung? Die Bilanz unterm Strich“). Wer die Effizienz steigern will, braucht zuverlässige Messwerte, um den Erfolg zu messen. Es macht sich schlecht, wenn man viel Kapital und Zeit in eine Modernisierung investiert hat, wenn die Metriken der Energie-Effizienz dann in den Boden fallen.

Im Kontext der Umstellung auf Flüssigkühlung ist PUE eben nicht nur unzureichend, sondern oft sogar kontraproduktiv (siehe: „Der Weg in eine klimaneutrale Zukunft. Zero-Emissionen oder gar Klima-positiv“). Bereits vor rund einem Jahrzehnt schlugen Dr. Michael Patterson von der Intel Corporation und die Energy Efficiency HPC Working Group (EEHPC WG) zwei alternative Metriken vor: TUE (kurz für Total-Power Usage Effectiveness) und ITUE (kurz für IT Power Usage Effectiveness).

Der ITUE-Wert ist im Grunde genommen ein PUE-Wert auf Rack-Ebene. Dadurch berücksichtigt ITUE den Einfluss von Nebenkomponenten auf Rack-Ebene, darunter Serverkühlventilatoren, Stromversorgungseinheiten und Spannungsreglern. Der ITUE-Wert verschafft dem Fachpersonal einen Einblick auf das Geschehen im Server-Rack. So weiß man, ob sich Serverlüfter drehen, ob dielektrische Pumpen im Einsatz sind oder ob vielleicht passive Kühlung zum Tragen kommt.

Um den Wert für die Gesamteffizienz der Rechenzentrumsinfrastruktur zu erhalten (TUE für Total Power Usage Effectiveness), multipliziert man den ITUE-Wert mit dem PUE, einfach so:

Die Akzeptanz des TUE-Werts hat sich langsamer entwickelt als die des PUE-Werts. Die grundlegenden Berechnungen sind nicht signifikant schwieriger, aber der TUE-Wert erfordert ein tieferes Verständnis der eingesetzten IT-Ausrüstung, das in der Regel bei den Betreibern von Unternehmensrechenzentren ausgeprägter ist als beispielsweise in Colocation. Colo-Betreiber haben oft nicht die volle Kontrolle über die von Kunden genutzte IT-Ausrüstung.

Wo Co-Location (vorerst und schon wieder) punktet

„Als wir unseren ersten Einsatz eines flüssigkeitsgekühlten Produktionssystems [in 2022] starteten“, erinnert sich My Truong, Feld-CTO bei Equinix, „ging es uns nicht um eine höhere Leistung“. Den Leistungsvorteil hat man als Selbstverständlichkeit angenommen.

Das Ziel des Vorhabens bestand vielmehr darin, „zu lernen, was es bedeutet, ein flüssigkeitsgekühltes Rechenzentrum als ein Betreiber mit globaler Präsenz am Laufen zu halten“, so Truong. Die größte Hürde für die Einführung der Flüssigkeitskühlung war die Notwendigkeit, das neue Betriebswissen aufzubauen und „auf die Equinix-Größenordnung“ zu skalieren.

Führende Co-Location-Anbieter wie Equinix verfügen inzwischen über breit gefächertes Fachwissen in Sachen Flüssigkühlung und können dank ihrer Expertise ihren Unternehmenskunden kompetente Unterstützung bieten. Einige Co-Location-Spezialisten haben hochentwickelte Versorgungsketten aufgebaut und pflegen direkte Beziehungen zu Hardware-OEMs und Flüssigkeitskühlungsanbietern – alles gewichtige Pluspunkte, wenn man mit der eigenen IT zum ersten Mal „baden geht“.

Angesichts der Versorgungsprobleme, die vielen Unternehmen neuerdings zuwider kommen, dürfte die Expertise und die gut eingespielten Lieferketten der Hyper-Colos in der – laut Analysten „abrupten“ – Übergangsphase zur Massenkommerzialisierung der Technologie zum entscheidenden Wettbewerbsfaktor werden.

• Digital Realty startete im August 2023 einen Hochdichtecolocationsdienst in 28 Märkten für Workloads von bis zu 70 Kilowatt pro Rack.

• Auch Databank hat ein eigenes Hochdichtedatenhallendesign, das sich mit Flüssigkühlung verträgt.

• Cyrus One hat ein neues Facility-Design für KI-spezifische, Built-to-Suit-Rechenzentren eingeführt, das Immersionskühlung und andere „flüssigkeitsgetriebene“ Techniken der Wärmeabfuhr einsetzt, um Leistungsdichten von bis zu 300 kW pro Rack zu ermöglichen. Das Cyrus One Intelliscale-Konzept unterstützt die Flüssigkeitskühlung direkt auf dem Chip (Liquid-to-Chip), Kühlungssysteme mit Wärmetauschern an der Rücktür und Immersionskühlung.

Equinix plant, fortgeschrittene Flüssigkeitskühlungstechnologien, darunter die Direct-to-Chip-Kühlung, in mehr als 100 seiner IBX-Datenzentren (International Business Exchange) in über 45 Metropolregionen weltweit auszubauen.

(ID:49965596)