Klimatisierung für High-End-Cluster

Flüssigkühlung bei dichtgepackten Racks

14.05.2007 | Autor / Redakteur: Stephan H. Gursky / Ulrich Roderer

Das Max-Planck-Institut (MPI) für biophysikalische Chemie in Göttingen untersucht die kleinsten Bausteine des Lebens. Dazu wird auch ein Transmissions-Elektronen-Mikroskop eingesetzt. Aus einer Vielzahl von Projektionsaufnahmen berechnen Hochleistungscomputer 3D-Modelle. Die dafür benötigte extreme Rechenleistungen der Server, verbunden mit hoher Packungsdichte und 20 kW Verlustleistung pro Rack machte das Thema Klimatisierung zu einem Hauptthema. Nur ein Luft-Wasser-Wärmetauscher, in diesem Fall LCP von Rittal, konnte die hohe Abwärme bewältigen.

Eine Vielzahl zellulärer Faktoren sind daran beteiligt, ein Protein zu synthetisieren. Unter diesen Faktoren ist das Ribosom von herausragender Bedeutung. In diesem universellen Zellmotor wird die Interpretation des genetischen Codes und die Verknüpfung der Aminosäuren vollzogen. Ziel der Erforschung sind beispielsweise neue Erkenntnisse für die Herstellung von Medikamenten, um vorhandene Genschäden behandeln zu können. Nur mit Hilfe modernster High-Tech lassen sich die Vorgänge und Zustände in diesem Mikrokosmos sichtbar machen und katalogisieren.

Das beim Max Planck Institut (MPI) in Göttingen eingesetzte Transmissions-Elektronen-Mikroskop löst bis zu 1,8 ? (1 Angström = 1*10-10 m) auf. Im MPI werden zweidimensionale Projektionsbilder unter verschiedenen Winkeln aufgenommen und – ähnlich der medizinischen Computertomographie – dreidimensionale Strukturen berechnet. Erst nach erheblichem Rechenaufwand am Computer entsteht ein 3D-Bild. Dabei müssen die einzelnen Bilder in die gleiche Orientierung gebracht, an der richtigen Stelle überlappt und das Bildrauschen entfernt werden.

Cool bleiben

„Unsere Aufgabe ist es, die benötigte Rechenleistung so zur Verfügung zu stellen, dass die Server zum Einen wenig Stellfläche für ihre Racks benötigen und zum Anderen, dass Ihre Funktion nicht durch Wärmeprobleme beeinträchtigt wird“, erklärt Diplom Physiker Mario Lüttich, IT-Verantwortlicher und Mitarbeiter der Arbeitsgruppe 3D Kyro-Elektronenmikroskopie. „Unser neuester Cluster produziert eine Verlustleistung von 20 kW in nur einem Rack. Diese Wärme kann bei der hohen Packungsdichte der Server nicht konventionell über eine Raumklimaanlage abgeführt werden.“ Ohne eine entsprechende Klimalösung für das Rack hätte das MPI die Server in mehrere Racks verteilen müssen, um keine thermischen Probleme und damit Ausfallrisiken einzugehen – über eine Raumklimatisierung lassen sich nicht mehr als 5 kW Verlustleistung sicher aus einem Rack abführen. Folge: Ein Vielfaches an Platzbedarf und höhere Betriebskosten.

Aus diesem Grund eruierten die IT-Verantwortlichen mögliche Lösungen. Die Wahl fiel auf die Luft-Wasser-Wärmetauscher – Liquid Cooling Package (LCP) – von Rittal. Sie werden anstelle einer Seitenwand am Rack angeflanscht und stellen in dem geschlossenen Gehäuse ein definiertes Mikroklima her, da sie nur jeweils einen Schrank kühlen. Aus den LCPs wird die gekühlte Luft gleichmäßig vor die 19“-Ebene der Server eingeblasen. So werden Hot-Spots sicher verhindert. Gleichzeitig bleibt jede Erweiterung der Rechnerleistung für den Aufstellraum temperaturneutral. Diese Tatsache machte es dem MPI möglich, mehrere Hochleistungsserver-Racks trotz immenser Verlustleistung in einem sehr kleinen Haustechnikraum zu installieren. Die LCPs sind skalierbar und nehmen, je nach Kühlbedarf, bis zu drei Kühlmodule je Rack auf und erreichen damit eine Kühlleistung von bis zu 20 kW. Die voll bestückten LCP Systeme beim MPI beziehen das Kühlwasser ihres Mikrokreislaufs von einem Rittal Wasser-Wasser-Wärmetauscher, der an einen vorhandenen Gebäude-Kühlwasserkreislauf angeschlossen ist. Die Umwälzpumpe im Wärmetauscher ist redundant vorhanden. Täglich wird zwischen den Pumpen umgeschaltet, um beide permanent betriebsbereit zu halten. Eine lange Standzeit könnte ansonsten möglicherweise zum Festgehen führen und so die Verfügbarkeit für den Schadenfall beeinträchtigen.

Computergestützte Überwachung sichert den Betrieb

Mario Lüttich: „Da intakte Pumpen die Grundvoraussetzung für die Server-Kühlung sind, überwachen wir deren Funktion über das Rittal Überwachungssystem CMC-TC. Bei einem Ausfall erhalten wir sofort eine Meldung über das integrierte Webinterface oder per E-Mail und können Ersatz beschaffen, während die andere Pumpe den Betrieb aufrechterhält.“ Die Überwachung mittels CMC hilft Mario Lüttich aber auch an anderer Stelle. So nutzt er die Möglichkeit, die PSM Steckdosenleisten der Server bei einem Pumpendefekt via CMC abzuschalten, und damit eine Überhitzung der Computer zu verhindern.

Die komplexen Berechnungen dauern mitunter mehrere Tage und erfolgen über eigenentwickelte Programme, die auf dem Windows-Cluster laufen. Die erzielten Ergebnisse werden sukzessive auf einem RAID-Festplattensystem abgelegt, das mit einer eigenen Mini-USV gegen Stromausfall gesichert ist. „Aus diesem Grund macht es nichts, wenn die Berechnung durch einen Notstopp der Server unterbrochen wird“, erklärt Mario Lüttich die Besonderheiten seiner Anwendung. „Unsere Aufgaben sind nicht zeitkritisch, daher können wir die Systeme an einem der zuvor fixierten und gespeicherten Aufsetzpunkte wieder anlaufen lassen. Dies ist auch der Grund, warum hier keine USV für die Server zum Einsatz kommt.“

In einem Server-Rack findet sich die neueste Generation von 1 HE Servern, die mit jeweils zwei AMD Dual Core Opteron Prozessoren bestückt sind. Das bedeutet vier Prozessoren pro HE, die jeweils über 2 GB RAM verfügen. Oder anders gesagt: Auf nur 14 HE finden sich 48 CPUs zuzüglich zwei Systemen, die das RAID-System mit 8 TB Speicherplatz bedienen. Dies ist der Grund für die enorme Hitzeentwicklung – und das bei einem bisher nur zur Hälfte bestückten Rack. Aus diesem Grund dürfen die Türen der Racks nicht über längere Zeit offen stehen, denn ohne die Kühlluft aus den Rittal LCPs steigt ansonsten das Ausfallrisiko innerhalb kürzester Zeit extrem an. Die Temperaturregelung des LCP erfolgt mittels der einstellbaren Temperatur-Hysterese über das CMC. In einem zweiten Server-Rack setzt das MPI noch die ältere Generation von Dual Athlon Prozessoren ein, die bei gleicher Rechenleistung wegen der geringeren Packungsdichte ein ganzes Rack füllen.

Fazit

Mit der neuen Kühllösung konnte das MPI in Göttingen seine IT-Services bei der Berechnung von Ribosom-Modellen auf deutlich sicherere Füße stellen. Heute sind die Server hoch verfügbar und Ausfälle aufgrund von thermischen Problemen gehören der Vergangenheit an. Mario Lüttich abschließend: „Rittal hat uns als technologischer Vorreiter von der Wasserkühlung mittels LCP Luft-Wasser-Wärmetauschern überzeugt. Wir können nun die volle Rechenleistung in nur zwei Racks – und das in dem kleinen Technikraum – unterbringen, ohne Risiken hinsichtlich der Server-Lebensdauer einzugehen.“

Was meinen Sie zu diesem Thema?

Schreiben Sie uns hier Ihre Meinung ...
(nicht registrierter User)

Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
Kommentar abschicken
copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Kontaktieren Sie uns über: support.vogel.de/ (ID: 2004734 / Klimatechnik)