Warmes Wasser kühlt das 3 PetaFLOPS IBM-System des Leibniz-Rechenzentrums SuperMUC ist Europas schnellster Supercomputer

Die Top-500-Liste macht SuperMUC des Leibniz-Rechenzentrums in Garching zum leistungsfähigste Supercomputer Europas. Das mit heißem Wasser gekühlte System gilt als ungewöhnlich Energie-effizient, die Abwärme wird zum Heizen genutzt, und es erreicht bis zu 3 Billiarden Rechenoperationen pro Sekunde. Maßgeblich mitentwickelt haben IBM-Forscher aus Zürich und Böblingen.

Anbieter zum Thema

DataCore Software GmbH

Fujitsu Technology Solutions GmbH

DC-Datacenter-Group GmbH

IBM Deutschland GmbH

Die Leistung platziert das IBM-System SuperMUC auf Platz 4 der weltweiten Top-500-Supercomputer-Liste. An Platz 1 (Rechner „Sequoia“) und Platz 3 (Rechner „MIRA“) befinden sich ebenfalls IBM Supercomputer-Systeme, die in USA für noch höheren Leistungsbedarf entwickelt worden sind.

SuperMUC wurde von IBM für das Leibniz-Rechenzentrum (LRZ) der Bayerischen Akademie der Wissenschaften entwickelt. Dahinter steckt ein „IBM System x iDataPlex Direct Water Cooled dx360 M4 Cluster“. Dieser verfügt über insgesamt etwa 150.000 Rechenkerne, die eine Spitzenrechenleistung von drei PetaFLOPS erbringen. Dies entspricht der Leistung von mehr als 110.000 PCs oder 3 Billiarden Rechenoperationen pro Sekunde (10E15).

Trotzdem verbraucht es rund 40 Prozent weniger Strom als ein vergleichbares luftgekühltes System. Erstmals kommt bei SuperMUC in einem kommerziellen System eine innovative Wasserkühlung zum Einsatz, die den Gesamtenergieverbrauch des Rechners und ermöglicht, dass die entstehende Abwärme direkt für die Gebäudeheizung genutzt werden kann. Der Grundstein für diese Entwicklung wurde von Forschern bei IBM Research – Zürich gelegt, unterstützt durch das deutsche IBM Entwicklungszentrum in Böblingen.

Die Besonderheit des Systems ist seine Kühlung

Professor Arndt Bode, Vorsitzender des Direktoriums des LRZ, sagt: „Seit diesem Jahr müssen staatlich finanzierte Institutionen in ganz Deutschland ihren Strom aus zu 100 Prozent erneuerbaren Energiequellen beziehen. SuperMUC wird uns dabei helfen, unsere Verpflichtung einzuhalten, während wir der wissenschaftlichen Gemeinschaft ein Höchstleistungssystem zur Verfügung stellen können, um Theorien, Designexperimente und Ergebnisvorhersagen zu testen.“

Heute entfällt bis zu 50 Prozent des Energieverbrauchs und der CO₂-Emissionen eines durchschnittlichen luftgekühlten Rechenzentrums auf den Betrieb der notwendigen Kühlsysteme, die die Server vor Überhitzung schützen. Wasser leitet Wärme rund 4000-mal besser als Luft.

Die Kühlkonzepte der IBM Forscher sind vom energetisch hocheffizienten menschlichen Blutkreislauf inspiriert: Ein ausgeklügeltes Kühlnetzwerk mit leistungsfähigen Mikrokanalkühlern führt die Wärme direkt dort ab, wo sie entsteht: am Chip.

Das System für die Wasserkühlung ist noch ausbaufähig

So kann der neue Computer mit über 40 Grad warmem Wasser gekühlt werden und liefert gleichzeitig wertvolle Abwärme, die direkt für die Gebäudeheizung genutzt werden kann. Das wirkt sich auch auf die Betriebskosten aus: SuperMUC wird zu Einsparungen von rund 1 Million Euro pro Jahr führen.

Die SuperMUC-Architektur

SuperMUC verfügt über mehr als 330 Terabyte Hauptspeicher für die zu verarbeitenden Daten, die über ein nicht-blockierendes Infiniband-Netzwerk mit Fat Tree-Topologie kommuniziert werden können. Darüber hinaus können bis zu 10 Petabyte Daten in einem parallelen GPFS-Dateisystem von IBM zwischengespeichert werden.

Für die dauerhafte Speicherung der Benutzerdaten wie Programmquellen, Eingabedatensätze usw. steht ein Network Attached Storage (NAS) System von Netapp mit einer Kapazität von 4 Petabyte zur Verfügung, das sich durch hohe Zuverlässigkeit auszeichnet. Zusätzlich stehen für die langfristige Archivierung von Daten des SuperMUC 16,5 Petabyte Speicherkapazität auf Bandsystemen zur Verfügung.

Ein Höchstleistungssystem für die Wissenschaft

SuperMUC ist ein Beitrag des Gauss Centre for Supercomputing, des Zusammenschlusses der drei größten deutschen Wissenschafts-Rechenzentren JSC Jülich, HLRS Suttgart und LRZ Garching bei München und gehört zur europäischen High Performance Computing-Infrastruktur PRACE (Partnership for Advanced Computing in Europe). Der Supercomputer wurde gemeinsam vom Bund und dem Land Bayern finanziert.

SuperMUC zeichnet sich dadurch aus, dass er besonders vielseitig einsetzbar ist. Wie bisher kommen viele Projekte aus der Physik und Strömungsmechanik. Aber in den letzten Jahren konnten gerade am LRZ immer mehr Wissenschaftsdisziplinen durch Simulationen am Höchstleistungsrechner große Fortschritte bei der Beantwortung schwieriger Fragen erreichen.

Beispielhafte Verbindung von IT und Geophysik

So haben Geophysiker der Ludwig-Maximilian-Universität München bereits ihr Modell der Bewegungen im Erdinneren für den SuperMUC angepasst. Ihr Modell ist inzwischen der internationale Standard für die Simulationen anderer Forschergruppen. Andere Wissenschaftler untersuchen detailliert den Fluss des Blutes in gesunden und erkrankten Blutgefässen oder der Luft in der Lunge.

SuperMUC ist außerdem mit einem leistungsstarken Visualisierungszentrum einschließlich einer 4K stereoskopischen Powerwall und einem Raum zur Darstellung virtueller Realitäten oder CAVE zur Visualisierung von 3D-Daten verbunden.

SuperMUC wird im Juli offiziell im Rahmen der 50-Jahr-Jubiläumsfeier des LRZ eingeweiht. Aber DataCenter-Insider hat schon einmal einen Blick hinein geworfen und berichtet über das interessante Rechenzentrums-Design (siehe: Superrechner mit Superdurchblick/ Superlative im Rechenzentrums-Design für SuperMUC)

(ID:34224360)