Wasser aus dem Genfer See und in der Rack-Tür Cooling Doors an der EPF Lausanne

Die renommierte École polytechnique fédérale de Lausanne hat seine Rechenzentren mit Racks und Kühllösungen von Vertiv ausgebaut. Ziel von Aristide Boisseau und seinem Datacenter-Team war die Verbesserung des PUE-Werts von 2,0 auf 1,06, Platzeinsparungen von 30 bis 50 Prozent sowie eine Reduzierung von CAPEX und OPEX. Wie er es geschafft hat?

Anbieter zum Thema

Rosenberger-OSI GmbH & Co. OHG

LWL-Sachsenkabel GmbH

maincubes Holding & Service GmbH

Vertiv GmbH

Die École polytechnique fédérale de Lausanne (EPFL) ist eine der beiden Technischen Hochschulen in der Schweiz. Seit ihrer Gründung im Jahr 1969 hat sie sich zu einer der bekanntesten europäischen Institutionen für Wissenschaft und Technologie entwickelt. Auf dem Hauptcampus arbeiten mehr als 14.000 Dozenten, Forscher und Studenten.

Bildergalerie

Bildergalerie mit 13 Bildern

Um die zahlreichen innovativen und zukunftsweisenden Projekte der Wissenschaftler und Studenten mit der entsprechenden IT-Ausstattung zu unterstützen, verfügt die EPFL über IT- und Gebäude-Infrastruktur-Teams mit insgesamt rund 250 Mitarbeitern. Eine besondere Position nimmt Aristide Boisseau mit seinem Bereich Datacenter Operations ein. Gemeinsam mit seinem Team bildet er die Schnittstelle zwischen den beiden Bereichen und sorgt für einen intensiven Informationsaustausch sowie reibungslose Abläufe.

Bei der EPFL kommen hauptsächlich Hochleistungsrechner zum Einsatz, um die benötigten Kapazitäten für wissenschaftliches Rechnen bereitstellen zu können. Zwar blieb das Budget der EPFL für neue Hochleistungsrechner in den letzten Jahren gleich, allerdings erhöhten die Anbieter die Kapazitäten ihrer Produkte im Rechenzentrum.

Das hatte zur Folge, dass die Leistungsdichte pro Quadratmeter anstieg und die bestehenden Luft-Kühllösungen mit diesem Wachstum nicht mithalten konnten.Benötigt wurde deshalb eine neue Technik, die in der Lage ist, die 8-Point-Grid-Systeme ausreichend zu kühlen.

Herausforderungen und Ziele

Die EPFL hat das Image einer Hochschule, die die klugen Köpfe von morgen formt, so dass sie kreative Ansätze für viele aktuelle Herausforderungen in Bereichen wie Mobilität, Städteplanung, Technologie und Wissenschaft entwickeln können. Dabei eignen sich die Studenten nicht nur neues Wissen an, sondern betreuen gemeinsam mit den Professoren bereits ihre eigenen Projekte.

Messungen, Auswertungen, Erkenntnisse – all diese Daten müssen gespeichert, verarbeitet und vorgehalten werden. Anwendungen, Programme und Datenbanken bereichern und vereinfachen die Arbeit der Studenten und Professoren, gleichzeitig jedoch erhöhen sie die Komplexität für die IT.

Das Ergebnis sind massenhaft Daten, die das Grundgerüst für neue Erkenntnisse bilden. Um den steigenden Anforderungen gerecht werden zu können, betreibt die EPFL eigenes Rechenzentren. In den vergangenen Jahren wurden die beiden bestehenden Datacenter Server-seitig zunehmend weiter ausgebaut, was schließlich die Kühllösungen überforderte.

Die Rechenzentren

2011 entschied sich die EPFL für den Bau eines weiteren Rechenzentrums, um mit den steigenden Datenvolumina Schritt halten zu können. Für die beiden bestehenden Rechenzentren, eines für die Verarbeitung und Speicherung von Daten, ein zweites als Backup, machte sich Boisseau zudem auf die Suche nach neuen Kühlmöglichkeiten.

Bisher hatte er auf ein System mit Umluftkühlung gesetzt: Wasser aus dem Genfer See wurde verwendet, um die Luft abzukühlen, die wiederum die Racks kühlte. Allerdings ermöglichte diese alte Lösung lediglich acht bis zehn Kilowatt Leistungsdichte pro Rack, für die Hochleistungsrechner wurden hingegen 30 Kilowatt per Rack benötigt. Zudem nahm dieses umständliche System zu viel Platz im Rechenzentrum ein.

Boisseau trat mit den Experten von Vertiv bezüglich neuer Racks in Kontakt, die in das neue Rechenzentrum integriert werden sollten. In diesem Zusammenhang wurden schließlich auch die Kühlungsoptionen besprochen. Dabei stellte sich heraus, dass Vertiv mit den Racks auch gleich eine platzsparende Kühllösung mit der entsprechenden Kühlleistung zur Verfügung stellen konnte.

Das Konzept

Zunächst war Boisseau der Ansicht, dass zwei unterschiedliche Techniken benötigt wurden, um der individuellen Leistungsdichte in den Racks gerecht zu werden. Denn neben den Hochleistungsrechnern betreibt die EPFL auch noch Racks, in denen die Leistung maximal 10 Kilowatt beträgt. So sollten laut Planung zunächst die Lösung CoolTherm für hohe Leistungsdichten (bis zu 30 Kilowatt) eingesetzt werden und für niedrige Leistungsdichten bis zu 10 Kilowatt eine Kalt- und Warmgangeinhausung.

Nach eingehender Beratung wurde jedoch entschieden, dass die „Knürr DCD Water Cooled Rack Doors“ von Vertiv die beste Kühloption für alle Racks sein könnte. Die Knürr DCD Luft-Wasser-Kühltür ist ein Luft-Wasser-Wärmetauscher, der in die hintere Tür der Server-Racks integriert ist. Über den rückseitig am Rack angebrachten Rücktürwärmeüberträger mit Kühlwasserdurchlauf wird das kalte Wasser direkt am Server eingesetzt.

Über den Wasserkreislauf, der mit kaltem Wasser die Rack-Tür speist und mit wärmerem Wasser verlässt, um dann im Genfer See wieder gekühlt zu werden, wird die gesamte Wärme des eingebauten IT Equipments abgeführt. Der Kühlungseffekt tritt auf, wenn die warme Abluft den Wärmetauscher im hinteren Bereich des Server-Schrankes durchfließt. Der Kühlluftstrom wird ausschließlich durch die Server-Lüfter angetrieben. Zusätzliche Lüfter in der Kühltür sind unnötig.

Boisseau entschied sich zunächst dafür, drei „Liebert Smart Rack PDUs MPX“ von Vertiv zu kaufen und die DCD Luft-Wasser-Kühltüren in einer zweimonatigen Testphase damit zu testen. Das Ergebnis des Proof-of-Concept war eindeutig:

Das neue System war mit 20 bis und 25 Kilowatt pro Rack noch nicht an der Leistungsgrenze. Ein weiterer Pluspunkt war die immense Platzeinsparung. Zudem war auch der Preis unschlagbar, sodass die Entscheidung schnell getroffen war. 2012 wurde das neue Rechenzentrum mit knapp 30 Racks ausgestattet.

Die Ergebnisse

Die Wasserkühlung führt zu einem niedrigeren Ausfallsrisiko, einer höheren Systemzuverlässigkeit und weniger Fehlerquellen als bei reiner Luftkühlung. Gleichzeitig reduziert sich mit dieser Art der Kühlung der Energieverbrauch durch elektrische Verluste und die Kühlung an sich.

Durch die optimierte Wärmetauscherstruktur und kurze Luftwege ohne Ablenkungen entfällt außerdem die Notwendigkeit von Zusatzlüftern in der Kühleinheit. Auf diese Weise erzielt die Kühlung über die DCD Luft-Wasser-Kühltür PUE (Power Usage Effectiveness)-Werte von 1,06.

Für die neue Wasserkühlung wurden dieselben Leitungen verwendet, die bereits für den Transport des Wassers aus dem Genfer See genutzt worden waren. Das sparte Investitionskosten. Da das Wasser außerdem direkt in den DCD Luft-Wasser-Wärmetauschern in der Rack-Rücktür eingesetzt wird, konnte die EPFL 30 bis 50 Prozent des Platzverbrauches herkömmlicher Luftkühlungen einsparen und stattdessen mehr Server integrieren.

Heute sorgen bis zu 90 DCD Cooling Doors für die Kühlung des 300 Quadratmeter großen Rechenzentrums. Die Temperatur wird über Thermostatventile geregelt, die den Wasserdurchfluss im Wärmetauscher in Abhängigkeit von der Stromlast im Rack steuern.

So kann die Wassermenge an die Leistungsdichten in den Racks angepasst werden und umgekehrt – und die DCD Cooling Doors lassen sich als einzige Kühllösung im gesamten Rechenzentrum einsetzen, unabhängig von den unterschiedlichen Leistungsdichten in den Racks.

Ausblick

2015 erkannte Boisseau, dass die Kapazitäten des 2012 neu in Betrieb genommenen Rechenzentrums ebenfalls zur Neige gehen. Zudem sollte eines der älteren Rechenzentren vollständig modernisiert werden, um mit den steigenden Anforderungen Schritt halten zu können.

Deshalb begann er mit der Planung eines neuen Rechenzentrums, das spätestens 2021 in Betrieb genommen werden soll, und der Modernisierung des älteren Rechenzentrums. Nach den Richtlinien der Organisation mondiale du commerce muss die staatlich organisierte Universität EPFL für den Bau des neuen Rechenzentrums eine neue Ausschreibung starten. Vertiv wird sich mit den innovativen und praxiserprobten Wasserkühllösungen an der Ausschreibung beteiligen.

* Reinhard Purzer ist Vice President & Managing Director für Deutschland, Österreich und Schweiz bei Vertiv.

(ID:45765992)