Mit Fujitsu Primergy CX oben auf die Öko-Liste

Der Supercomputer QPACE3 ist dem Urknall auf der Spur

| Redakteur: Ulrike Ostler

Der Supercomputer „QPACE3“ belegt den fünften Platz auf der Liste der Energie-effizientesten Computer der Welt.
Der Supercomputer „QPACE3“ belegt den fünften Platz auf der Liste der Energie-effizientesten Computer der Welt. (Bild: Fujitsu)

Den Superrechner „QPACE3“ verwenden die Universitäten Regensburg und Wuppertal sowie das Jülich Supercomputing Centre im Rahmen des Sonderforschungsbereiches SFB/TRR-55 für numerische Simulationen, etwa in der Quanten-Chromodynamik. Ziel ist es unter anderem, den Zustand des Universums kurz nach dem Urknall zu verstehen. Das Herzstück ist ein Cluster aus „Fujitsu Primergy“-Servern.

Notwendig war eine hohe Rechenleistung auf wenig Raum und bei geringstem Energieverbrauch. Dafür sind die Fujitsu Primergy CX600-Systeme ausgerüstet mit den Intel-Prozessoren „Xeon Phi 7210“, die jeweils über 64 Rechenkerne verfügen, sowie einer Kombination aus „Direct Liquid Cooling“ von Asetek und Luftkühlung. Es sind 672 Server-Knoten „CX1640 M1“ sind in acht „Primecenter LC“-Racks untergebracht. Die Kommunikation beruht auf „Omni-Path Interconnect“.

Die Forscher im SFB/TRR-55 wollen unter anderem besser verstehen, wie sich Materie bei den hohen Temperaturen und Dichten verhielt, die nach dem Urknall geherrscht haben. Dazu führen sie aufwändige die numerischen Simulationen auf Hochleistungsrechnern durch.

Seit Kurzem steht ihnen dafür der Supercomputer QPACE3 zur Verfügung, der in zwei Phasen - im Dezember 2016 und im Juli 2017 - in Betrieb genommen wurde. Das zentrale Element ist das Primergy-CX600 Cluster. Es wurde gemeinsam von den Universitäten Regensburg und Wuppertal im Rahmen des Sonderforschungsbereichs beschafft und am Jülich Supercomputing Centre (JSC)installiert.

Energie-Effzienz dank Flüssigkühlung

Dabei ging es auch darum, den Supercomputer besonders Energie-effizient zu gestalten. Gemeinsam mit dem QPACE-Projektteam hat Fujitsu den HPC-Cluster konfiguriert. Das ist insbesondere durch die Flüssigkühlung von Asetek möglich. Beim Direct Liquid Cooling (DLC) werden die CPUs durch eine spezielle Flüssigkeit gekühlt. Im Fall des JSC wird die auf maximal 60 Grad erwärmte Flüssigkeit über Schläuche zu einem Wärmetauscher in den Racks geführt und dort mittels warmem Facility-Wasser bis auf 40 Grad herunter gekühlt.

Die erwärmte Kühlflüssigkeit wird aus dem Gebäude hinausgeführt und mittels freier Luftkühlung wieder auf eine niedrigere Temperatur gebracht. Die Kombination von Liquid Cooling mit einer externen Luftkühlung macht eine wesentlich aufwändigere Luftkühlung in den Rechnerräumen überflüssig. DLC kommt nicht nur im Bereich HPC zum Einsatz, sondern hält mittlerweile auch in konventionellen Rechenzentren Einzug.

„Dank der Energie-Effizienz des Fujitsu-Systems erreichten wir im November 2016 Platz 5 der Green500-Liste. Energie-Effizienz und wirtschaftliche Effizienz liefern mehr Wissenschaft fürs Geld“, so Professor Tilo Wettig.

Zunächst Intel-Xeon-Phi im Frühstadium

Tatsächlich wurde die erste Ausbaustufe von QPACE3 im Dezember 2016 in Betrieb genommen, als noch das Early-Shipment-Programm für die damals brandneuen Xeon-Phi-Prozessoren von Intel lief. Eine enge Zusammenarbeit zwischen Fujitsu und Intel hat es möglich gemacht, trotz dieser frühen Entwicklungsphase eine gute und stabile Lösung zu entwickeln. Die damals gemessenen Leistungsdaten:

In dem Projekt QCD Parallel Computing Engine(QPACE) geht es auch darum, Energie-effiziente Supercomputer zu nutzen. Deshalb kooperierten Wissenschaftler an der Fakultät für Physik der Universität Regensburg unter der Leitung von Prof. Tilo Wettig etwa mit Fujitsu, um möglichst viel Rechenleistung bei möglichst geringem Stromverbrauch zu erzielen.
In dem Projekt QCD Parallel Computing Engine(QPACE) geht es auch darum, Energie-effiziente Supercomputer zu nutzen. Deshalb kooperierten Wissenschaftler an der Fakultät für Physik der Universität Regensburg unter der Leitung von Prof. Tilo Wettig etwa mit Fujitsu, um möglichst viel Rechenleistung bei möglichst geringem Stromverbrauch zu erzielen. (Bild: Fujitsu)

  • In der ersten Ausbaustufe des QPACE3 Ende 2016 wurden vier Racks mit 352 Fujitsu Primergy CX1640 M1-Serverknoten implementiert.
  • Die Systeme sind mit CPUs der Reihe „Intel Xeon Phi 7210“ („Knights Landing“) bestückt.
  • Die Prozessoren verfügen über 64 Cores und 256 Threads bei einer Taktrate von 1,30 GHz.
  • Der Arbeitsspeicher hat eine Größe von 16.896 Terabyte.
  • Als Betriebssystem verwendet das System die Linux-Distribution „CentOS“ [jetzt von Red Hat].
  • Der Supercomputer erreicht eine Leistung (Peak Performance) von bis zu 937 Teraflops (Floating Point Operations per Second).
  • Für die Anbindung an das Netzwerk steht eine 100-GBit/s-Leitung zur Verfügung.
  • In der zweiten Ausbaustufe (Mitte 2017) sind weitere vier Racks mit 320 Fujitsu Primergy CX1640 M1-Nodes und 30.720 TB RAM hinzu.
  • Die Server stellen eine Rechenleistung von 852 TFlops bereit.

Xeon-H statt Xeon Phi

Die Xeon-Phi-CPUs sind optimiert auf hochparallelisierte Anwendungen, wie sie bei numerischen Simulationen und auch beim Deep Learning benötigt werden. Sie eigneten sich daher auch für Forschungsabteilungen in Unternehmen, die Simulationen durchführen, aber auch für Hochschulen für hochparallelisierte wissenschaftliche Anwendungen.

Doch Ende 2017 kündigte Intel an, dass die Linie der Xeon Phi-Prozessoren eingestellt wird. Das betrifft auch die Modelle, die als Nachfolger der „Knights-Landing“-CPU vorgesehen waren - die Prozessoren der Reihe „Knights Hill“ und „Knights Peak“.

Allerdings bedeutet das nicht, dass Forschungseinrichtungen und Unternehmen nun auf andere Superrechner-Architekturen setzen müssen. Für 2019/2020 plant Intel den Start der „Xeon-SP“-Prozessoren (Scalable Performance) der Reihe „Ice Lake“. Eine spezielle Version namens „ISH-H“ („Knights Cove“) mit 38 oder 44 Kernen soll dann die Nachfolge des Xeon Phi antreten.

Vorab-Installation in Werk Augsburg

Dass drei der vier Racks für die erste Phase von QPACE3 zunächst im Rechenzentrum von Fujitsu in Augsburg vorinstalliert und getestet wurden, sorgt bei den Forschern für zusätzliche Plusspunkte. Nach Abschluss der heißen Projektphase sagte Wittig: „Für uns war die Flexibilität und vertrauensvolle Zusammenarbeit mit dem Team von Fujitsu eine sehr positive Erfahrung. „Dadurch konnten wir Performance- und Stromverbrauchsmessungen rechtzeitig für die Green500-Liste durchführen“, erkläutert Wettig.

Diese Vorinstallation im Rechenzentrum in Augsburg habe außerdem den Vorteil gehabt, dass das System inklusive der Dichtigkeit bereits komplett vorab im Fujitsu-Rechenzentrum getestet wurde. Das erlaubte, die die Server vor Ort innerhalb sehr kurzer Zeit zu installieren, so Wettig.

Was meinen Sie zu diesem Thema?

Schreiben Sie uns hier Ihre Meinung ...
(nicht registrierter User)

Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
Kommentar abschicken
copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 45159175 / Data Management - Fujitsu Content-Hub)