Direkte Heißwasserkühlung im Datacenter Megware kühlt den Linux-Cluster im Leibnitz-Rechenzentrum

Die Kühlung eines Rechenzentrums ist einer der größten Energiefresser des Datacenter-Betriebs. Einer dieser Ansätze, die dem entgegenwirken sollen, ist – zugegebenermaßen nicht ganz neu – die wasserbasierte Kühlung. Völlig neu ist allerdings die technische Umsetzung von Megware und Schäfer IT-Systems.

Anbieter zum Thema

Stäubli Fluid Connectors

Rosenberger-OSI GmbH & Co. OHG

DC-Datacenter-Group GmbH

SCHÄFER IT-Systems

Das Leibniz-Rechenzentrum der Bayerischen Akademie der Wissenschaften (LRZ) bietet den weit über 100.000 Studierenden, Professorinnen und Professoren sowie Mitarbeiterinnen und Mitarbeitern IT-Dienstleistungen wie E-Mail, Internet, WLAN und VPN. Es ist das Hochschulrechenzentrum für die Ludwig-Maximilians-Universität (LMU), die Technische Universität München (TUM), die Bayerische Akademie der Wissenschaften sowie sonstige Wissenschaftseinrichtungen des Freistaates Bayern. Zusätzlich betreibt das LRZ Hochleistungsrechensysteme für jene Hochschulen sowie einen nationalen Supercomputer, der zu den leistungsfähigsten Rechnern der Welt zählt und allen öffentlichen deutschen Forschungseinrichtungen zur Verfügung steht.

Bildergalerie

Bildergalerie mit 7 Bildern

Nur noch ein Kühlkreislauf ohne mechanische Kühlaggregate

Seit Februar 2019 betreibt das Leibnitz-Rechenzentrum auch die Erweiterung „CoolMUC3“, ein Hochleistungsrechner aus neun Racks. Auf unserem Linux-Cluster werden durchaus Forschungsaufgaben durchgeführt. Das Linux-Cluster ist ein Hochleistungsrechner, aber kein Supercomputer wie „SuperMUC“ oder „SuperMUC-NG“.

Auf dem direkt warmwassergekühlten Linux-Cluster-System werden unter anderem folgende Forschungsprojekte ausgeführt:

• Untersuchungen zur effizienten Vektorisierung von Flachwasserlösungsverfahren für Dammbruch- und Tsunamiberechnungen

• Evaluierung und Optimierung der numerischen Laufzeitbibliothek „AutoPas“ für Mühlekühldynamiksimulationen

• Durchführung von 2D-Turbulenzsimulationen mit höchstaufgelösten Netzen mit der Reynolds-averaged Navier Stokes-Gleichung

• Verwendung von Machine Learning-Verfahren zur Optimierung der Energie-effizienten Ausführung von HPC-Anwendungen

Insgesamt umfassen die neuen Rechnerschränke:

• 151 Knoten, die mit den Prozessoren„Intel Xeon Skylake 6130“ ausgestattet sind

• 400 TeraFlop/s Rechenleistung

• 9472 Prozessorkerne

• 14,21 Terabyte Hauptspeicher

Mit dem Ziel Energie zu sparen, haben die Verantwortlichen des LRZ beschlossen, in diesem-Cluster eine 100-prozentige Wasserkühlung einzusetzen. Die Rechenknoten inklusive aller integrierten Memory-Module, Netzwerkschnittstellen und Netzteile sowie alle Intel „Omni-Path-Switches mit der von Megware entwickelten Flüssigkeitskühltechnologie „Coldcon“ zu 100 Prozent direkt mit Heißwasser gekühlt.

Denn der Verzicht auf Luftkühlung steigert die Energie-Effizienz deutlich: Typische Leistungszahlen (Energy-Efficiency-Ratios) für Luftkühlung liegen unter fünf, für Warmwasserkühlung über 20. Da nur noch ein Kühlkreislauf ohne mechanische Kühlaggregate benötigt wird, werden Komplexität, Installations- und Betriebskosten der Infrastruktur deutlich reduziert.

„Luftkühlung ist für unsere Rechner nicht die beste Lösung. Wir haben bisher schon warmwassergekühlte Systeme eingesetzt. Allerdings waren die besonders hinsichtlich ihrer Effizienz bei der Kühlung der Komponenten verbesserungsfähig, was natürlich auch dem Alter geschuldet war“, sagt Herbert Huber, Abteilungsleiter Hochleistungssysteme des LRZ, und spielt darauf an, dass das LRZ als Pionier bereits 2011 auf direkte Wasserkühlung seiner Systeme baute.

Bei den eingesetzten Systemen werden jedoch noch nicht alle Komponenten mit Wasser gekühlt. Der entstandene, hohe Energie-Eintrag in die Umgebungsluft kann nicht unter 15 Prozent gehalten werden. Huber: „Bei diesen großen Systemen müssen wir noch viele Kilowatt elektrische Leistung für die Luftkühlung aufbringen.“

Weltweit einmaliges warmwassergekühltes System

Die jetzige Technik lieferte die Megware Computer Vertrieb und Service GmbH mit ihrem Partner Schäfer IT-Systems. Zwar stammten schon die 2011 eingesetzten Systeme von Megware, die Wasserkühlung des Unternehmens für High Performance Computing und IT-Lösungen ist inzwischen aber in der vierten Generation. Die Abwärme aller Komponenten wird mit Direktwasserkühlung abgeführt. Dafür wurden gemeinsam mit Schäfer IT-Systems, einem Hersteller von Netzwerk-, Server-Schrank- sowie Rechenzentrumtechnik, bestehende Lösungen weiterentwickelt und Komponenten beispielsweise mit Cold-Plates umgerüstet.

Aktuell ist das System, das vollständig warmwassergekühlt arbeitet, weltweit einmalig. Es ist thermisch isoliert und minimiert somit den Wärme-Eintrag in die Umgebung auf rund 3 Prozent Abwärme in den Raum. Den Rest erledigen Raumbefeuchtungs- respektive -entfeuchtungsanlagen.

Zudem konnte das Temperaturniveau, bei dem die Wasserkühlung effizient arbeitet, angehoben werden. Damit wird das Heißwasser für Kühlkonzepte mit Zweitverwendungen, wie beispielsweise eine Gebäudeheizung, interessant. Auch beim LRZ wird das Kühlwasser für die Abwärmenachnutzung verwendet.

Bei der jüngsten, europaweiten Ausschreibung 2017 überzeugten Megware und Schäfer IT-Systems dann ebenfalls. Gefordert war eine 100-prozentige Wasserkühlung aller Komponenten mit über 40 Grad warmem Wasser, um das Cluster ganzjährig ohne Energie-intensive mechanische Kälte-Erzeugung zu kühlen.

Bei der Entwicklung hatten zwei Aspekte Priorität: die thermische Isolierung der Racks, damit weniger Abwärme in den Rechnerraum gelangt, und eine möglichst hohe Temperatur des Kühlwassers, um die Abwärme effizient nachnutzen zu können, zum Beispiel für Adsorptionskühlung. Insgesamt gingen drei Bewerbungen ein.

„Das hat uns nicht überrascht. Nicht viele Unternehmen sind in der Lage, unsere technischen Anforderungen zu erfüllen. Megware war der einzige Anbieter, der ein adäquates Kühlsystem anbieten konnte“, sagt Huber. „Im Anschluss haben wir gemeinsam einen Liefer- und Rahmenvertrag abgeschlossen.“ (CloudHeat setzt ebenfalls auf Megware; siehe: Sinnvoll, wirtschaftlich und Horrorvorstellung, Wasserkühlung in Datacenter: Der Durchbruch lässt warten

Sinnvoll, wirtschaftlich und Horrorvorstellung

Wasserkühlung in Datacenter: Der Durchbruch lässt warten

Hohe Ansprüche an den Wasserkreislauf gestellt

Mit dem Einsatz des Systems, geht das LRZ in seiner Rolle als Pionier erneut einen weiteren Schritt voraus. Schließlich wird die Auswahl der Lieferanten für IT-Infrastrukturen eingeschränkt, die ein derartiges Kühlungskonzept mit passenden Systemen bedienen können. Durch seine Expertise konnte Schäfer IT-Systems diese Lücke bei der technischen Umsetzung der Kühlung für Megware schließen.

Das Unternehmen stimmte mit Megware in enger Zusammenarbeit zunächst das Konzept und anschließend die entsprechenden Lösungen ab. Hohe Ansprüche stellte es beispielsweise an den Wasserkreislauf und dessen gleichbleibende Qualität: Das Kühlsystem besteht aus relativ kleinen Strukturen, durch die das Wasser fließen muss. Deshalb muss es möglichst frei von Partikeln sein. Durch die Berührung mit dem Kühlmittel ist auch das genutzte Material der Komponenten entscheidend.

Das Ergebnis ist ein Rack, in dem sowohl Rohrleitungen für Wasser, ein Wärmetauscher samt Pumpengruppe als auch ein Druckausgleichsgefäß integriert sind. Dadurch kann die Wärme aus dem Schrank abgeführt werden, ohne dass es mit dem Wasserkreislauf des Rechenzentrums in Berührung kommt.

Die Verwaltung und das Monitoring

Ein geschlossener Kühlwasserkreislauf beziehungsweise die Trennung der Kreisläufe in Server-Schränken und Rechenzentrum ist ein notwendiger Schritt: Kreisläufe in Datacenter unterliegen weniger strengen Anforderungen an die Wasserqualität.

Integriert ist ebenfalls ein Touchscreen, der mittels entsprechender Sensorik und Schnittstellen alle Temperaturen im Inneren und Äußeren anzeigt. Das ersetzt derzeit gängige App-basierte Cloud-Lösungen, die seitens des LRZ aus Sicherheitsgründen keine Alternative waren. Das intelligente Rack bindet Werte in eine von Megware programmierte und verwaltete Management-Software ein. Dadurch ist ein Zugriff durch Administratoren auch von anderenorts möglich.

Hinweis: Das Original des Textes aus dem Schwesterportal „Konstruktionpraxis“ haben wir angepasst.

(ID:46044479)