Direct Chip Cooling oder in die Wanne? Server kühl servieren und (nicht) trocken lagern

Anbieter zum Thema

Stäubli TEC-Systems GmbH Connectors

Schneider Electric GmbH

EPS Rechenzentrum Infrastruktur GmbH

Glühende Hitze von den Akzeleratoren, CPUs und Speicherbänken setzt den Lüftern richtig zu. Direkte Flüssigkühlung muss also jetzt doch her. Was man halt darüber weiß, macht die Server nicht heiß.

Luft ist ein denkbar schlechtes Wärme-Übertragungsmedium. Zudem belegen Lüfter auch noch Platz, verbrauchen dauernd Energie, erzeugen Staub, Lärm und Wartungstickets.

Doch ungeachtet der klaren Vorteile direkter Flüssigkühlung von Servern konnte diese Technologie in den meisten Rechenzentren bisher noch nicht Fuß fassen. Die Zögerlichkeit der Datacenter-Betreiber entspringt eigentlich einem gesunden Geschäftssinn und einem ebenfalls lobenswerten Selbsterhaltungsinstinkt: Dem konkreten und nicht wegdiskutierbaren Aufwand der Umrüstung standen bisher eine fragwürdige Rendite und ein unklares Risikoprofil gegenüber. Unterm Strich also lauter Fragezeichen.

Nicht durchdrehen!

Hardware-Beschleuniger wie GPUs benötigen aufgrund ihrer deutlich höheren thermischen Designpunkte nun aber eine wesentlich effizientere Kühlung als CPUs und Speicherchips. Punktuell etwas mehr Abwärme und die Luftkühlung zieht den Kürzeren.

Gleichzeitig sind Server-Prozessoren mit der wachsenden Dichte der Mikroelektronik im Laufe des vergangenen Jahrzehnts wesentlich leistungshungriger geworden: Die thermische Entwurfsleistung von CPUs ging von zirka 100 Watt im Jahre 2010 etwa auf das Vierfache rund zehn Jahre später.

IT-Teams reden sich drum schon länger die Köpfe heiß. Die Strom- und Leistungsdichte von Siliziumchips, nicht die Rack-Dichte, ist der hauptsächliche Treiber für den Wechsel von Luft- zur direkten Flüssigkühlung, glauben die Analysten von 451 Research.

Direct-to-Chip-Flüssigkeitskühlung, ein- oder zweiphasig

Flüssigkeitskühlung kommt in zwei grundlegenden Formen daher: direkt auf dem Chip und immersiv. Aus diesen beiden Ansätzen leiten sich all die anderen Kategorien von Flüssigkeitskühlungssystemen ab.

Bei den Methoden fließt das Kühlmittel direkt zu den heißeren Server-Komponenten wie den CPUs und GPUs und nimmt Abwärme von einer Kühlplatte auf, die sich im Inneren des Servers direkt auf dem Chip befindet. Andere elektronische Komponenten auf der Serverplatine sind nicht in direktem physischen Kontakt mit dem flüssigen Kühlmittel, obwohl einige Designs Kühlplatten um Speichermodule herum vorsehen.

Die Übertragung des Kühlmittels zwischen dem Flüssigkeitsverteiler auf der Rückseite des Racks und den IT-Komponenten im Inneren erfolgt in der Regel über eine auslaufsichere, tropffreie Kupplung, welche die Sicherheit der Installation gewährleistet und für Schadensbegrenzung sorgt. Leckschutzsysteme (LPS für Leak Prevention Systems) können das Ausfallrisiko weiter mindern, indem sie im Wasserkreislauf ein Vakuum herstellen.

Hui, doch gar nicht pfui: Fluid-gekühlte Server

Die Stäubli-Schnellkupplungen sorgen für sichere direkte Serverkühlung

Als Kühlmittel kommt Wasser oder eine spezielle dielektrische Flüssigkeit zum Einsatz. Um die Luft durch das Gehäuse zirkulieren zu lassen und die Restwärme abzuführen sind nach wie vor Lüfter erforderlich.

Die 2PLC-Variante

Bei der Zwei-Phasen-Variante der Direct-to-Chip-Flüssigkeitskühlung (2PLC) führt ein flüssiges Kühlmittel die Abwärme ebenfalls direkt von den betreffenden Server-Komponenten ab, jedoch wechselt die verwendete Flüssigkeit von einem Phasenzustand in einen anderen, zum Beispiel von der Flüssig- in die Gasphase.

Die Zweiphasen-Methode gilt als wesentlich effektiver im Vergleich zu der Einphasen-Methode in Bezug auf die Wärme-Abfuhr, erfordert jedoch zusätzliche Systemsteuerungen, um einen ordnungsgemäßen Betrieb zu gewährleisten.

Das israelische Startup Zutacore bietet mit der Direktkontakt-Verdunstungskühlung „Hypercool“ (Direct Contact Evaporative Cooling, DCEC) eine solche Lösung wahlweise mit einem 20 Kilowatt-luft- oder 70-Kilowatt-wassergekühlten Kondensator im Rack. In-Rack-Einheiten können mit In-Row-Kondensatoren parallel auf Multi-Rack-Einheiten skalieren.

Zutacore Hypercool verwendet 3M Novec 7000, ein dielektrisches Kältemittel mit einer hohen Wärmeübertragungsleistung, das unter atmosphärischem Druck bei 34 Grad siedet (siehe auch: „Kühlen durch Kochen; 3M und Boston schicken Supermicro-Server zum Tauchen“). Die Wärme-Energie wird so durch die Erzeugung von Dampf aus den Geräten entfernt und zum Kondensator transportiert, wo sie über einen Luft- oder Wasserstrom aus dem Gestell entfernt wird.

Überblick über das Angebot an Tauchbädern

Server gehen immer öfter baden

Um das Kältemittel effizient zirkulieren zu lassen, macht sich Zutacore das Phänomen der latenten Wärme zu Nutze. Dieses Phänomen reduziert den Energie-Aufwand für das Abpumpen der Flüssigkeit um 90 Prozent. Beim Austreten des Kältemittels besteht im Übrigen kein Risiko für die Integrität der betroffenen IT-Komponenten, da die Flüssigkeit anders als Wasser nichtleitend ist.

Das Herzstück des Direktkontakt-Verdunstungskühlungssystems Hypercool bildet der „Enhanced Nucleation Evaporator“ (ENE), ein Pool-Siedeverdampfer, der vom Leerlauf in den Turbomodus verzögerungsfrei umschaltet. Es handelt sich dabei um eine zweiphasige Flüssigkeitskühllösung auf dem Chip mit geschlossenem Regelkreis.

Immersionskühlung für 19-Zoll-Racks

Zutacore Hypercool wird Open 19-konform

Die Selbstregulierung der ENE liefert genau die Menge an Kältemittel, die zur optimalen Kühlung der von jeder Komponente erzeugten Wärme benötigt wird. Der Lösung liegt eine softwaredefinierte Kühlungsplattform (SDCP für Software-Defined Cooling Platform) von Zutacore zu Grunde, die den Betrieb bedarfsgerecht in Echtzeit steuert. Die Plattform integriert Intels Data Center Manager.

Lösungen von Zutacore kühlen Prozessoren mit einer Leistungsaufnahme von mehr als 1.000 W und einem Wärmefluss von über 90 W/cm2 bei einem Teil-PUE von 1,02 kühlen.

Der Rack- und Gehäusegigant Rittal hat die zweiphasige Flüssigkeitskühlungstechnologie von Zutacore im vergangenen Jahr für seine HPC-Angebote (High Performance Computing) übernommen und in sein Portfolio integriert.

Immersive Präzisionskühlung auf Chassis-Ebene (einphasig)

Bei diesem Ansatz werden die Serverplatinen in eine einphasige dielektrische Flüssigkeit eingetaucht, so dass alle elektronischen Komponenten des Systems mit der Kühlflüssigkeit in Kontakt treten. Dadurch kann das Kühlmittel die Abwärme vollständig abführen; die Lüfter fallen auf einmal allesamt weg.

Um das Risiko einer Leckage zu minimieren, sind die in Standard-Racks montierten Server zusätzlich in einem versiegelten Modul eingeschlossen. Die Platinen und sonstige Komponenten bleiben dadurch von korrosiven Flüssigkeiten, Dampf, Staub und sonstigen Schadstoffen geschützt und bleiben isoliert von externen Temperatureinflüssen.

Mit der Unterstützung von Schneider Electric und Avnet hat Ecodatacenter in seinem Rechenzentrum im schwedischen Falun, dem ersten klimapositiven der Welt, die Eintauch-Flüssigkeitskühlung auf Chassis-Ebene von Iceotope in Betrieb genommen. Es ist die weltweit erste Implementierung dieser Art in einer Co-Location-Anlage.

Die Eintauchkühllösung von Iceotope unterstützt 46 kW pro Rack, wobei die Kerntechnologie auf zukunftssichere Leistungsdichten von 100 kW plus skalieren kann. Das System unterstützt die Abführung der Abwärme zur Wiederverwendung in einem lokalen System für erneuerbare Energien.

Standort Falun in Schweden

Schneider Electric bestückt klimapositives Co-Location-Rechenzentrum

Die Implementierung kann den Energieverbrauch der Rack-Kühlung für die gehosteten IT-Lasten der Kunden um bis zu 90 Prozent und den Energieverbrauch des Rechenzentrums um bis zu 14 Prozent senken. Mit einer Betriebs-PUE von 1,03 lässt die immersive Kühlung auf Chassis-Ebene von Iceotope auf signifikante Capex-Einsparungen in Höhe von 14 Prozent und Energie-Einsparungen von mindestens 10 Prozent im Vergleich zur herkömmlicher Luftkühlung einer 2-Megawatt-Anlage hoffen. Über einen Zeitraum von 20 Jahren darf sich Ecodatacenter auf eine Reduktion der der Gesamtbetriebskosten (TCO) in Höhe von 11 Prozent freuen.

Die gemeinsame Lösung von Iceotope, Schneider Electric und Avnet ist inzwischen als ein integriertes Rack mit immersiver Kühlung auf Chassis-Ebene verfügbar. Sie kombiniert einen Hochleistungs-GPU-Server mit der Flüssigkeitskühltechnologie von Iceotope.

Das Server-Tauchbad für jedes Rechenzentrum

Schneider Electric, Avnet und Iceotope stellen Rack-System mit Immersionskühlung vor

Avnets Expertise kommt in der Integration flüssigkeitsgekühlter Server in den flüssigkeitsgekühlten „Netshelter“-Rack von Schneider Electric zum Tragen. Die Lösung von Iceotope skaliert von der mobilen Edge bis hin zu Code und HPC, wie dem „Lenovo Thinksystem SR670“ für Co-Location.

Ein- und zweiphasige Flüssigkeitskühlung im offenen Bad

Die Eintauchkühlung ist ein IT-Kühlverfahren, bei dem IT-Komponenten und andere Elektronik einschließlich ganzer Server in einer wärmeleitenden dielektrischen Flüssigkeit oder einem flüssigen Kühlmittel versenkt werden. Zur Abführung der Wärme tritt die Flüssigkeit in direkten Kontakt mit den heißen Komponenten und zirkuliert dann durch kühle Wärmetauscher.

Bei der Flüssigkeitskühlung im offenen Bad ist die IT-Ausrüstung vollständig in Flüssigkeit getaucht. Im Gegensatz zu herkömmlichen IT-Racks, bei denen die Server wie Pizzaschachteln im Lieferwagen horizontal von unten nach oben gestapelt werden, stecken hier die in einer Kühlwanne eingetauchten Server vertikal nebeneinander und werden wie Karteikarten aus einem Registerkasten von oben hinausgezogen.

In einigen Systemen sind bei dieser Methode zentrale Stromversorgungen integriert, um alle Server innerhalb der Wanne mit Strom zu versorgen. Bei dieser Methode kommt als Kühlmittel typischerweise ein Dielektrikum auf Öl-Basis zum Tragen.

Die Wärme in der dielektrischen Flüssigkeit wird über einen Wärmetauscher mit Hilfe einer Pumpe oder durch natürliche Konvektion an einen Wasserkreislauf übertragen. Der Wärmetauscher kann sich innerhalb oder auch außerhalb der Wanne befinden.

In der Wanne

Bei der zweiphasigen Flüssigkeitskühlung im offenen Bad ist die IT ebenfalls vollständig in die Kühlflüssigkeit eingetaucht. Der Unterschied zur einphasigen Ausführung besteht hier in der Verwendung eines zweiphasigen dielektrischen Kühlmittels, das bei der Wärmeabfuhr von einem Zustand in den anderen wechselt, also etwa von Flüssigkeit zu Gas.

Direct-to-Chip- und immersive Flüssigkeitskühlung bieten den Betreibern von Rechenzentren erhebliche Vorteile gegenüber der Luftkühlung, sie sind jedoch nicht für alle Betriebsbedingungen gleichermaßen gut geeignet. Bei der Nachrüstung von Standorten bieten beide Ansätze, sowohl Direct-to-Chip- als auch die immersive Flüssigkeitskühlung, relativ einfachen Übergang. Für neue Standorte und solche in rauen Umgebungen wie Edge empfiehlt sich eher die immersive Flüssigkeitskühlung, da sie die gesamte Wärme aufnehmen und die empfindliche Elektronik von schädlichen Umgebungseinflüssen isolieren kann.

* Das Autoren-Duo Anna Kobylinska und Filipe Pereia Martins arbeitet für McKinley Denali Inc. (USA).

(ID:47618028)