Umrüstung auf Wasserkühlung HPC-Nachrüstung in kleinen Schritten

Anbieter zum Thema

Vogel IT-Akademie

Universität Köln

Stäubli TEC-Systems GmbH Connectors

EPS Rechenzentrum Infrastruktur GmbH

ConSysTech GmbH

Steigende Rechnerleistungen bringen bestehende Kühlanlagen an ihre Grenzen. Ist das der Fall, erscheint ein Einstieg in die Flüssigkühlung die sinnvollste Lösung. Erfahrungen bei der Uni Köln teigen, dass das möglich ist, aber sorgfältige Planung verlangt.

In der Universität zu Köln gibt es wie an diversen Universitätsstandorten Möglichkeiten zum Hochleistungsrechnen. Natürlich versucht man auch in Köln, mit der sich rasant entwickelnden IT-Technologie mitzuhalten. Das stellt die Kühltechnik vor Herausforderungen, die mit den bislang genutzten Kühltechnik nicht mehr zu bewältigen sind.

Die bestehende Serverhalle stammt aus dem Jahr 2017. Dort sind zwei Rechenzentren installiert: Das erste übernimmt das Hochleistungsrechnen. Dort arbeiten 900 Kilowatt (kW) installierte Kälteleistung in Form von Luftkühlung.

Cool Walls und kalte Rücktüren kombiniert

Die Temperaturspreizung liegt bei 6 Grad Celsius (12/18 Grad Celsius). 300 kW werden mit so ganannten Cool Walls gekühlt, 600 kW mittels kalter Rücktüren.

Im zweiten Abschnitt arbeiten hochverfügbare IT-Anlagen. Hier beträgt die installierte Kälteleistung mit n+1-Redundanz 300 kW. Die Temperaturspreizung ist dieselbe wie im HPC-Bereich.

Wegen erwartbar wieder steigender Rechenleistung plante die Universität, den HPC-Bereich nun auf zunächst 300 kW, im Endausbau 600 kW Warmwasserkühlung umzurüsten. Die Systemtemperaturen für die Warmwasserkühlung betragen in der ersten Ausbaustufe 40/45 Grad (300 kW) in der Endausbaustufe wird die Temperaturspreizung von 5 Kelvin (K) auf 10 K angehoben und die Systemtemperaturen betragen 40/50 Grad (600kW). Geplant wurde eine zentrale Kühlmittelverteilung (CDU).

Mischung aus Luft- und Wasserkühlung

Der HPC-Cluster hatte allerdings bereits eine integrierte Luftkühlung. Seine Systemtemperaturen sollten ebenfalls steigen, die Spreizung aber bei sechs Grad bleiben (14/20 Grad Celsius). Die Kühlung der HPC-Anlagen erfolgt also wegen der integrierten Luftkühlung in den HPC-Racks zum Teil mit Luft und zum Teil mit direkter Chipkühlung.

Die Kälte-Erzeugung und -speicherung übernehmen ein Trockenrückkühler und drei Pufferspeicher. Kühl- und Kaltwasser werden mittels der CDU getrennt. Steigt die Außentemperatur über 40 Grad Celsius, kann ein Not-Chiller in Aktion treten. Abgänge für die Wärmerückgewinnung werden vorbereitet.

Anbau notwendig

Um diese zu ermöglichen, war allerdings der Bau einer neuen Wärmezentrale außerhalb der bisherigen Rechnerhalle nötig. Der Platz für die Kälte-Erzeugung wurde so dimensioniert, dass er auch bei einer Leistungssteigerung auf 600 kW ausreicht.

Wie erwähnt, musste eine neue Technikhalle an die bisherige Rechnerhalle angebaut werden, um die verschiedenen dafür nötigen Aggregate unterzubringen. Das gilt insbesondere für die drei Pufferspeicher samt ihrer aufwändigen Verrohrung.

Bauliche Einheit gewahrt

Dabei achtete man darauf, den Anbau in das bisherige Fassadenkonzept zu integrieren, um die bauliche Einheit der Rechnerhalle zu erhalten. Heute hat der Erweiterungsbau Abmessungen von 17 x 3,5 Metern (m) bei einer lichten Raumhöhe von 4,20 m. Außerdem wurden weitere Rückkühler auf dem Dach der Hauptrechnerhalle platziert.

Als besonders knifflig entpuppte sich die Schnittstelle zwischen der Kühlinfrastruktur und der IT. Dabei ging Geplan Ingenieure Gmbh & Co. KG, das Unternehmen, das das Vorhaben plante und umsetzte, von einer Transportleistung von 58 Kubikmeter Luft pro Stunde aus.

Die Verbraucher der Kälte sind hermetisch geschlossene Rack-Sidecooler-Einheiten. In ihnen wird ein Teil der Wärme über Luft, der Rest aber über direkte Flüssigkühlung der Chips abgeführt.

Sidecooler und CDU: Serieller Aufbau funktioniert nicht

Fraglich war, wie man Sidecooler und CDU verschaltet. Eine Parallelschaltung hätte dazu geführt, dass die Leistungsfähigkeit des Wärmeverbrauchers CDU nicht ausgenutzt worden wäre, da der Sidecooler eine geringere Leistung und Temperaturspreizung liefert als die CDU.

Also wurde die CDU parallel zum Sidecooler montiert. Dadurch kann die Einheit ihre Leistungsfähigkeit voll ausspielen, statt dass andere Elemente der Wärmekontroll- und Ableitungskette sie behindern.

Unterschiedliche Bedürfnisse

Besonders interessant war bei diesem Projekt, so Sebastian Stegmann, Geschäftsführer der IBGeplan, Kompromisse zwischen den Bedürfnissen der IT und denen der RechenzentrumsiInfrastrukturplanung beziehungsweise -implementierung zu finden.

Denn die IT will verständlicherweise ihre Hardware möglichst flexibel anbinden. Sie will auch bei geringer Auslastung der IT effektiv kühlen, gleichzeitig aber bei voller keine Hitzeinseln riskieren. Die geplante Kühlanlage muss also im kompletten Auslastungsspektrum effektiv arbeiten.

IT: So viel Flexibilität wie möglich

Selbstverständlich sollte auch das Temperaturniveau möglichst variabel sein, um die Möglichkeiten der IT nicht einzuschränken. Das gilt auch für einen eventuellen Ausbau der HPC-Rechnerlandschaft. Demzufolge braucht man ebenfalls eine Leistungsreserve in der Gebäudetechnik.

Weiter wünscht sich die IT die Möglichkeit, Leistungen zu verschieben. So kann sie unterschiedlich leistungsfähige Systeme und unterschiedliche Nachfrageniveaus am besten ausgleichen.

Facility Management: Rahmendaten für Effizienz erforderlich

Ganz anders liegen die Bedürfnisse derer, die die technische Gebäude-Ausstattung planen und aufbauen. Sie wollen zuvorderst klare Schnittstellen zum HPC-Rechner. Verbindliche Leistungsprognose optimal.

Die Kälte-Anlagen arbeitet am effektivsten, wenn sie genau zur vorhandenen IT-Leistung passt. Also sollten Leistungsbedarf und ein möglichst hohes Temperaturniveau klar definiert werden, Letzteres, um eine möglicherweise erforderliche Wärmepumpe möglichst klein dimensionieren zu können. Um effektiv Wärme auskoppeln zu können, was eine Wärmerückgewinnung erst wirtschaftlich macht, braucht es eine hohe Auslastung und viele Betriebsstunden.

In erster Linie muss sich die Gebäudetechnik bei nachträglichem Ausbau oder einem Einstieg in eine andere Kühltechnologie nach der bereits vorhandenen Rechnerlandschaft richten. Der zukünftige Leistungsbedarf sollte allerdings schon bekannt sein.

Schließlich stellt eine Wasserkühlung hohe Anforderungen an die Wasserqualität. Sonst können Kühlanlagen nicht richtig funktionieren oder verschleißen vorzeitig.

Teilweise Umrüstung kann sich lohnen

Dies alles in Betracht gezogen, ist Stegmann dennoch der Meinung, dass auch eine partielle Umrüstung von Kühlinfrastrukturen auf Flüssigkühlung sinnvoll sein kann. „Damit wird die Anlagentechnik am besten ausgelastet“, betont er.

Die Integration der für die Flüssigkühlung nötigen Verrohrung könne allerdings herausfordernd sein, vor allem, wenn in einem Bestandsgebäude wenig Platz ist. Also seien eine enge Abstimmung schon in der Planungsphase zwischen IT und Gebäudetechnik und wechselseitiges technisches Verständnis nötig. Nicht empfehlenswert sei es, Luft- und Wasserkühlung in Reihe zu schalten, da sonst die Einheit mit der schwächeren Leistung die mit der stärkeren beschränkt.

(ID:50217076)