Ein Serverhersteller und ein Co-Location-Anbieter arbeiten an der Wasserkühlung Wasser- statt Luftkühlung im Rechner: Wie stellen Kunden und Datacenter um?

Anbieter zum Thema

Lenovo Global Technology Germany GmbH

Lenovo (Deutschland) GmbH

Digital Realty Germany GmbH

Stäubli TEC-Systems GmbH Connectors

DAXTEN GmbH

mehr weniger

EPS Rechenzentrum Infrastruktur GmbH

weniger

Nach wie vor: Viele Anwender schrecken vor der Wasserkühlung zurück. Allerdings wird Liquid Cooling notwendig, sobald die Rechenleistung das Medium Luft überfordert - ein Gespräch über Umrüstmöglichkeiten mit Andreas Kederer, Direktor Datacenter-Betrieb bei Digital Realty in DACH , und Andreas Thomasch, Direktor HPC und AI, Lenovo DACH, Frankreich und Großbritannien.

Herr Kederer, Ihr Unternehmen, Digital Realty, setzt beim Londoner Cloud Center auf Kühlwasser aus den Docks der Themse. Gibt es noch mehr Ansätze, Wasserkühlung zu verwenden?

Andreas Kederer: Ja, die gibt es. Ich möchte hier insbesondere ein Projekt in Paris erwähnen, in das wir über unseren Partner Lenovo einbezogen wurden.

Andreas Thomasch: Bei dem Kunden handelt es ich um eine der größten französischen Geschäftsbanken. Dieses Unternehmen kam auf uns mit dem Wunsch zu, die IT solle so gestaltet werden, dass sie einen mess- und überprüfbaren positiven Beitrag zur Reduktion des Kohlendioxid-Fußabdrucks leistet. Es gab dazu Brainstormings im Lenovo-Briefingcenter und auch einen neutralen Austausch mit dem KIT (Karlsruher Institut für Technologie). Das Ergebnis war: Man muss an den Energieverbrauch heran, und da hat man mit dem Einsatz von Wasser- statt Luftkühlung den besten Hebel.

Wie kam Digital Realty ins Geschäft?

Andreas Thomasch: Unser Kunde betrachtet IT-Infrastruktur nicht als sein Kerngeschäft, er möchte sie also weitgehend auslagern. Gleichzeitig besteht aufgrund regulatorischer Vorgaben eine sehr hohe Verantwortlichkeit für die Integrität der Datenverarbeitung, weshalb man sich für das Konzept Infrastruktur and Datacenter as a Service entschloss – also einen Co-Location-Anbieter, in dessen Räumen die Infrastruktur aufgebaut und betrieben wird.

Andreas Kederer: Lenovo ist an uns herangetreten und hat angefragt, in welchem Rechenzentrumsstandort sich die Wünsche des Kunden realisieren ließen, und es stellte sich heraus, dass Paris dafür der beste Standort ist; denn dort gibt es zwei Datacenter-Standorte, um Redundanz aufzubauen. Dort war es auch möglich, nachträglich Wasserkühlung für die IT dieses Kunden zu implementieren, obwohl kein Standort an sich auf Wasserkühlung ausgerichtet war.

Der DataCenter-Diaries-Podcast #30: „Wasser als Kühlmittel im Rechenzentrum, im Server, besitzt viele Vorteile - und Vorurteile. Wie steinig ist der Weg dahin?“ mit Lenovo-Spezialist Andreas Thomasch und Autorin Ariane Rüdiger arbeitet auf, warum Wasserkühlung im Rechenzentrum, im Rechner, Sinn macht und was dem entgegensteht. Denn Risiken und Vorbehalte gibt es viele. Was ist davon ernst zu nehmen? Welche Vorbehalte lassen sich entkräften? Und wo verstecken sich die Teufelchen?

Die Podcast-Folge #30 von DataCenter Diaries findet sich auf Spotify, Apple Podcasts, Deezer, Amazon Musik und Google Podcasts.

Wie groß ist die geplante Infrastruktur und was läuft darauf?

Andreas Thomasch: Es handelt sich um mehrere Racks mit jeweils 60 bis 70 Kilowatt Leistung. Darauf laufen geschäftskritische Applikationen, etwa Market-Risk-Bewertungen. Als Hardware-Basis sind aktuell ausschließlich CPUs, also keine GPUs, im Einsatz. GPUs könnten in Zukunft folgen.

60 kW sind ja die Grenze, wo viele sagen, man muss auf Wasserkühlung wechseln, weil Luftkühlung das definitiv nicht mehr schafft.

Andreas Thomasch: Das kommt darauf an. Theoretisch kann man auch noch 50 kW pro Rack mit Luftkühlung bewältigen. In der Praxis wird so eine Installation aber wegen der Tücken der Thermodynamik sehr schwer steuerbar. Das Risiko, dass man die Wärme nicht mehr wegbekommt, ist höher.

Andreas Kederer: Unser Bestreben als Dienstleister ist es, möglichst jedes elektrische Kilowatt, das wir in eine Installation hineinleiten, bestmöglich nutzbar zu machen – entweder fürs Rechnen oder im Anschluss als Fernwärme oder Ähnliches. Geht das nicht, weil beispielsweise häufig die Abnehmer für die Wärme fehlen, wollen wir wenigstens den PUE so weit wie möglich senken.

Um Wasser zu sparen, verwenden wir in der Regel geschlossene Wasserkreisläufe und leiten die Wärme, wenn nicht als Fernwärme, nach dem Passieren von Wärmetauschern über Ventilatoren und gegebenenfalls weitere Kühlaggregate ab. Es gibt auch Ansätze mit Adiabatik, also Wasser für die Umwandlung von Wärme in Kälte, zu nutzen, oder wie in Zürich, wo wir Regenwasser in Kavernen im Gebäude leiten, um es aufzubereiten und die Chiller damit zu besprenkeln. Das nicht verdunstete Wasser wird dem Kreislauf erneut zugeführt.

Es gibt ja auch noch die Möglichkeit mittels Adsorption Wärme in Kälte umzuwandeln. Warum wird diese Technik so selten genutzt?

Andreas Thomasch: Man braucht einen großen Abstand zwischen Ein- und Ausgangstemperatur und konstant hohe Leistung. Beide Voraussetzungen sind oft nicht gegeben.

Apropos Eingangstemperatur: Was ist denn hier derzeit Ihre Zielvorstellung?

Andreas Thomasch: Die meisten Vorstellungen von Eingangstemperaturen sind viel zu niedrig, die Chips halten viel mehr aus, zumindest CPUs. Da realisieren wir heute 45 Grad, was heißt, dass wir beispielsweise auch das Wasser im Kühlkreislauf nach dem Umluftkühlern im Raum noch zum Kühlen heißer Chips verwenden können. Denn dessen Temperatur liegt meist irgendwo in den oberen Zwanzigern.

Die Ausgangstemperatur kann bis zu 60 Grad betragen, üblich ist aber ein Temperaturabstand von 5 bis zu zehn Grad. GPU sind da empfindlicher, aber man kann zum Beispiel ihre Leistung und damit die Erhitzung nach oben begrenzen, um insgesamt die Kühlinfrastruktur zu optimieren und dennoch mit warmem Wasser zu kühlen.

Das wird die leistungshungrigen Anwender nicht begeistern…

Andreas Kederer: Deshalb wollen wir ja auch am liebsten die Rechenzentren nach ihren Aufgaben global aufteilen: Das Compute und die GPUs mit ihren hohen Rechenleistungen und Kühlanforderungen laufen irgendwo im Norden, wo es, zumindest derzeit noch, reichlich kalte Luft und kaltes Wasser gibt. Die Aufgaben, die hinsichtlich der Rechenleistung weniger fordernd sind, aber aus Compliance- oder anderen Gründen, etwa die rechtskonforme Datenspeicherung, müssen standortnäher angesiedelt sein - dort, wo die Kunden sitzen.

Das ist ja derzeit für viele noch Zukunftsmusik, obwohl es vielversprechende Ansätze in den nordeuropäischen Ländern gibt. Deshalb nochmal zurück zum hiesigen Rechenzentrum: Wie kriege ich da Wasserkühlung rein?

Andreas Thomasch: Der Umstieg auf Wasserkühlung ist ja für die meisten entgegen ihrer eigenen Wahrnehmung kein absolutes Neuland. Der sekundäre Kühlkreislauf, der die erwärmte Luft abkühlt, ist meistens wasserbasierend. Die entsprechenden Aggregate und Verrohrungen befinden sich auch heute schon an den Wänden des Rechnerraums. Daran kann man anknüpfen.

Wie?

Andreas Kederer: Da gibt es grundsätzlich mehrere Möglichkeiten. Erstens kann man einzelne Racks oder sogar Chips oder Systeme mit einer direkten Wasserkühlung im Schrank versorgen. Dabei fließt das erwärmte Wasser in Kühllamellen in der rückseitigen Tür, dem so genannten Rear Door Exchanger, und wird dann in den sekundären, luftbasierten Kühlkreislauf übernommen, ehe die Wärme an den diesmal dritten Kühlkreislauf, der dann außer bei Freikühlung meist wasserbasiert ist, übergeben wird. Das ist günstig, weil es keine Eingriffe außerhalb der betroffenen Racks erfordert.

Und wenn nicht nur einzelne Systeme zu heiß für Luftkühlung sind?

Andreas Thomasch: Dann sind die folgenden Eingriffe nötig. Entweder man versorgt das Segment, das wassergekühlt werden soll, nachträglich mit einer Cooling Distribution Unitund einem Verteilermechanismus. Diese Systeme lassen sich in oder auch zwischen Rechnerschränken montieren und mit Schläuchen aus dafür freigegebenen Materialien direkt an die vorhandene sekundäre Kühlinfrastruktur, die ja oft wasserbasiert ist, anknüpfen. Das erfordert keine Änderung an der Verrohrung, man muss aber natürlich überlegen, wie man die Schläuche verlegt.

Oder man ändert tatsächlich das Verrohrungskonzept und bindet die betreffenden IT-Komponenten direkt an den sekundären, wasserbasierten Kühlkreislauf an. Das ist dann ein größerer Aufwand, der auch schnell fünfstellig kostet, letztlich aber auch viel Geld einspart. Die umfassendste Lösung ist natürlich, wenn man ein Rechenzentrum von Anfang an auf Flüssigkühlung ausrichtet.

Bei den mittleren Lösungskonzepten kommt Wasser oder Flüssigkeit direkt in den Whitespace. Elektronik und Wasser, das geht doch nicht zusammen…

Andreas Kederer: Ja, das ist tatsächlich ein Einwand, der immer wieder erhoben wird.

Andreas Thomasch: Der aber nicht substanzhaltig ist. Ich sage dann immer, dass die Menschen seit Jahrzehnten in Autos fahren, bei denen brennstoffgefüllte Tanks, Bleibatterien mit Salzsäure drin und Kühlwasser einträchtig nebeneinander unter der Kühlerhaube sind, und keiner regt sich darüber auf, trotz der hohen Dichte, mit der diese Aggregate gepackt werden und der Lebensgefahr, der sich die Fahrenden dadurch theoretisch aussetzen. Unsere langjährige Erfahrung sagt einfach, dass es extrem selten zu Lecks oder anderen gravierenden Zwischenfällen kommt, die mit der Wasserkühlung zusammenhängen.

Wie messen Sie den Outcome?

Andreas Thomasch: Von einer wassergekühlten Insel im luftgekühlten Rechenzentrum? Das geht eigentlich nicht. Trotzdem kalkulieren wir auf dem Papier etwa aufgrund der Verbrauchsdaten, welchen PUE die Insel hat. Sonst können wir unseren Kunden keine fairen Bedingungen anbieten.

Trotzdem wird nicht jeder bereit sein, sich auf das Abenteuer einzulassen. Welches Vorgehen raten Sie an?

Andreas Kederer: Alle Beteiligten müssen an einen Tisch, zunächst, um Begriffe zu klären. Die sind nämlich auf Facility- und IT-Seite durchaus unterschiedlich.

Außer bei sehr günstigen Bedingungen empfehlen wir ein schrittweises Vorgehen. Kriegt man als Datacenter-Erbauer und -Betreiber eine ausreichend große Zahl an Kunden, die interessiert sind, in einer Einrichtung Whitespace lang- oder wenigstens mittelfristig zu mieten, mit dem IT-Lieferanten und vielleicht noch der Kommune zusammen, können wirklich neuartige Projekte entstehen, bei denen Abwärme nicht mehr verpufft und die IT so effizient und kohlendioxidsparsam wie möglich betrieben wird.

(ID:49996732)