Suchen

Per Turbolader zum Schnellsten in Europa Flexibel, Energie-effizient und stark: Das ist der neue Supercomputer made in Jülich

Redakteur: Ulrike Ostler

Der Jülicher Supercomputer „Juwels“ ist fertig. Dank eines Booster-Moduls sind nun 85 PetaFlops möglich, was 85 Billiarden Rechenoperationen pro Sekunde oder der Rechenleistung von mehr als 300.000 aktuellen PCs entspricht. Damit ist der Superrechner auch der schnellste in Europa.

Firmen zum Thema

Das ist der „Juwels“-Supercomputer in der Rechnerhalle des Jülich Supercomputing Centre.
Das ist der „Juwels“-Supercomputer in der Rechnerhalle des Jülich Supercomputing Centre.
(Bild: Forschungszentrum Jülich / Wilhelm-Peter Schneider)

Der Rechner, den das Forschungszentrum Jülich, das französisch-deutsche Unternehmen Atos und der Münchner Supercomputing-Spezialist Partec gemeinsam mit dem US-Hersteller Nvidia entwickelt haben, ist seit gestern Abend auch offiziell die Nummer 1 unter den europäischen Superrechnern. jetzt ist es offiziell. Das geht aus der neuen TOP500-Liste hervor, die am Montagabend während der der Supercomputing-Konferenz „SC20“, vorgestellt wurde.

Zugleich rutscht Juwels, der durch das nationale Gauss Centre for Supercomputing finanziert wird, auf den 7. Platz der schnellsten Computer. Auf der aktuellen Green500-Liste rangiert er auf Platz 3 und ist damit das Energie-effizienteste System in der höchsten Leistungsklasse.

Professor Wolfgang Marquardt, Vorstandsvorsitzender des Forschungszentrums Jülich, sagt über den Superrrechner: „Wir verstehen Supercomputing nicht nur als Gegenstand unserer Forschung, sondern vor allem auch als mächtiges Werkzeug, mit dem wir gemeinsam mit unseren Partnern aus Wissenschaft und Industrie komplexe Forschungsfragestellungen beantworten können“, und setzt hinzu:

„Juwels“ nutzt eine direke Wasserklung.
„Juwels“ nutzt eine direke Wasserklung.
(Bild: Forschungszentrum Jülich / TRICKLABOR)

„Mit dem vollständig ausgebauten Juwels-System ermöglicht das Forschungszentrum Jülich Wissenschaftlerinnen und Wissenschaftlern unterschiedlichster Institutionen und wissenschaftlicher Disziplinen den Zugriff auf Höchstleistungsrechenkapazitäten auf allerhöchstem Niveau. Gleichzeitig demonstrieren wir mit dem System aber auch den verantwortungsvollen Umgang mit dem immer weiter zunehmenden Energiebedarf für die Bereitstellung von Rechenleistung.“

Der Booster

Eines der wichtigsten Komponenten ist der Booster. Professor Thomas Lippert, Leiter des Jülich Supercomputing Centre, erläutert die Wirkung am Beispiel der aktuellen COVID-19-Forschung beziehungsweise der Medikamentenentwicklung, die per Computer unterstützt wird: „Erst die Rechenpower des Booster ermöglicht es unseren Forschern, die Prozesse vor, während und nach dem Aufeinandertreffen eines potenziellen Wirkstoffs mit einem Rezeptor oder Protein realitätsnah genug zu simulieren.“ Denn Juwels kann damit die Grenzen von Simulationen massiv ausweiten.

Der Turbolader für den Superrechner ist mit mehreren Tausend Grafikprozessoren bestückt und für extreme Rechenleistungen sowie für Aufgaben der Künstlichen Intelligenz ausgelegt ,während erste Modul, das Cluster-Modul, durch seine Vielseitigkeit und einfache Nutzbarkeit besticht. Dieses ging bereits 2018 in Betrieb und war von Anfang an für die Erweiterung durch zusätzliche Module ausgelegt. Allerdings waren damals noch nicht alle Komponenten, die für den Bau des Booster benötigt werden, auf dem Markt.

Für massiv paralleles Arbeiten sind mehr als 3.700 Grafikprozessoren (GPUs) im Booster verbaut.
Für massiv paralleles Arbeiten sind mehr als 3.700 Grafikprozessoren (GPUs) im Booster verbaut.
(Bild: Forschungszentrum Jülich / Wilhelm-Peter Schneider)

Die Rechenleistung des Cluster steigert der Booster von 12 auf über 80 PetaFlops - 80 Billiarden Rechenoperationen pro Sekunde.

Ein weiteres Beispiel ist die detaillierte Simulation von Oberflächen-, Erd- und Grundwasserbewegungen. Dank des Booster sind Forscher erstmals in der Lage, Simulationen für Deutschland und Europa mit der erforderlichen Feinauflösung, zum Beispiel von einzelnen Hängen oder Flusskorridoren, durchzuführen.

Ergänzendes zum Thema
Juqcs-G – Simulation eines universellen Quantencomputers

Rechenzeit auf dem Juwels-Booster ist kostbar. Schon während der ersten Testphase im Spätsommer und Herbst dieses Jahres sind erste Anwendungen auf dem System gelaufen. Die so genannten „Early Access Applications“ geben wertvolle Hinweise für die Optimierung der Codes, und liefern erste handfeste wissenschaftliche Ergebnisse. Dazu gehört das Projekt „Juqcs-G“.

Dabei geht es darum, die Rechenschritte eines Quantencomputers auf konventionellen Digitalrechnern nachzuvollziehen. Das ist durchaus eine große Herausforderung. Berechnungen mit derart großen Datenmengen und einer entsprechend hohen Anzahl an Prozessoren sind nur möglich mit einer Software, die effizient auf den parallelen Architekturen heutiger Supercomputer läuft.

Quantencomputer haben das Potenzial, Rechenaufgaben zu lösen, die herkömmliche Computer nicht berechnen können. Die Entwicklung wird jedoch noch einige Zeit in Anspruch nehmen. 10 bis 15 Jahre könnte es Schätzungen zufolge dauern, bis ein universell einsetzbarer Quantencomputer in Betrieb geht. Die Entwicklung von Quantenalgorithmen, mit denen sich Probleme in Bereichen wie Optimierung, maschinelles Lernen und Quantenchemie lösen lassen, ist daher aktuell auf Softwarelösungen wie Juqcs-G angewiesen, die universelle Quantencomputer auf einem herkömmlichen Rechner simulieren.

Die Simulation eines Quantencomputer mit N Qubits erfordert eine Speichergröße und eine Rechenleistung, die proportional zu 2N sind. Das bedeutet: Der Rechenaufwand steigt exponentiell mit der Anzahl an Qubits.

Wo Superrechner an die Grenzen stoßen

Um beispielsweise einen Quantencomputer mit nur 40 Qubits zu simulieren, würde ein Digitalrechner mit mehr als 16 Terabytes Arbeitsspeicher benötigt – eine typische Aufgabe für einen Supercomputer. Um jedoch nur 10 Qubits mehr – also 50 Qubits – zu simulieren, wäre ein tausendmal größerer Arbeitsspeicher von über 16 Petabytes erforderlich, was auch die Speicherkapazität der derzeit schnellsten Supercomputer übersteigt.

Berechnungen mit derart großen Datenmengen und einer entsprechend hohen Anzahl an Prozessoren sind also nur mit entsprechender Software möglich, etwa mit der massiv-parallelen Quantensimulationssoftware Juqcs-G, mit der sich die Ressourcen aktueller Superrechner, der vorhandene Arbeitsspeicher, die Rechenleistung und das Kommunikationsnetzwerk, voll ausschöpfen lassen. Die Software läuft aber auch auf der Hardware von PCs.

Ein Beispiel für einen Algorithmus, der auf einem universellen Quantencomputer zum Einsatz kommen könnte, ist der Quantum Approximate Optimization Algorithm (QAOA). Es handelt sich dabei um einen so genannten quanten-klassischen Hybrid-Algorithmus, für den ein Quantencomputer mit einem klassischen Superrechner kombiniert wird.

Hybrid-Anwendungen

Der QAOA-Algorithmus könnte möglicherweise zur Flugplanoptimierung verwendet werden, speziell für das so genannte „Tail Assignment“. Dabei werden Flugzeuge konkreten Flugstrecken zugewiesen, unter Berücksichtigung betrieblicher Randbedingungen. Dabei muss für jedes Flugzeug ein individueller Plan erstellt werden, mit der Reihenfolge an Flügen, die jedes Flugzeug absolviert.

Simulationsergebnisse nach Anwendung des Quantum Approximate Optimization Algorithm (QAOA), ein Algorithmus, der möglicherweise zur Optimierung von Flugplänen eingesetzt werden könnte.
Simulationsergebnisse nach Anwendung des Quantum Approximate Optimization Algorithm (QAOA), ein Algorithmus, der möglicherweise zur Optimierung von Flugplänen eingesetzt werden könnte.
( Bild: Forschungszentrum Jülich )

Ein weiterer Algorithmus für Quantencomputer ist der Variational Quantum Eigensolver (VQE). ebenfalls ein quanten-klassischer Hybrid-Algorithmus. Der Algorithmus zielt ebenfalls auf Optimierungsprobleme ab, beispielsweise zur Berechnung des niedrigsten Energieniveaus von Molekülen.

Die Anzahl der Qubits, die mit Juqcs-G simuliert werden kann, wird zwar durch die Größe des verfügbaren RAM-Speichers stark begrenzt. Trotzdem kann die Anzahl an Operationen, der Quantengatter, die es auszuführen gilt, für Anwendungen, die oben genannte Algorithmen verwenden, sehr hoch sein. Die Simulation der Berechnungen auf einem herkömmlichen Computer ist daher eine sehr rechenintensive Aufgabe.

Die Vorteile des Ressourcen-Managements

Solche Simulationen werden beispielsweise eingesetzt, um Ergebnisse von Quantenprozessoren zu überprüfen oder die Rechencodes zu optimieren. Mithilfe der Rechenleistung von Grafikprozessoren (GPUs) lässt sich die für die Berechnungen notwendige Zeit deutlich reduzieren.

Die große Anzahl an GPUs auf dem Booster-Modul kann daher dabei helfen, die Berechnungszeit deutlich zu verkürzen und noch größere Quantencomputer auf dem Superrechner Juwels zu simulieren, als es bislang möglich war. Mithilfe des Ressourcen-Managements des Jülicher-Systems könnte Juqcs-G zudem nicht nur auf das Booster-Modul zugreifen, sondern zusätzlich auch die Rechenkapazitäten des Cluster-Moduls von Juwels nutzen.

Der Jülicher Supercomputer ist als einer der ersten mit „Nvidia A100 Tensor Core“-GPUs ausgestattet, die auf der „Ampere“-Architektur basieren. Etwa 12 Millionen so genannte CUDA-Kerne (FP64) vereint der Booster auf seinen über 3.700 Grafikprozessoren, die über ein Nvidia Mellanox HDR Infiniband Höchstleistungsnetz mit 200 Gigabit pro Sekunde (Gb/s) miteinander verbunden sind.

Der Booster allein erreicht eine Spitzenleistung von 73 Petaflops. Speziell für KI-Anwendungen, die andere Anforderungen an die Hardware stellen, sind sogar bis zu 2,5 ExaFlops möglich. Das entspricht 2,5 Trillionen Rechenoperationen pro Sekunde.

Beliebig auf CPUs und GPUs zugreifen

Bernhard Frohwitter, CEO des Münchner Supercomputing Spezialisten Partec, deutet an, wie das funktioniert: „Der Clou bei Juwels ist, dass beide Module, das bisherige ‚Cluster-Modul‘, das mit schnellen Prozessoren (CPUs) arbeitet, und das Booster-Modul mit seinen GPUs, ganz eng verschaltet sind.“

Die Zusammenarbeit der Module steuert dabei das modulares Softwaresystem „Parastation Modulo“ von Partec. „Mit Parastation Modulo kann Juwels innerhalb eines Codes dynamisch und beliebig auf CPUs sowie GPUs zugreifen und gleichzeitig optimieren“, sagt Frohwitter.

JUWELS-Cluster JUWELS-Booster
Rechenleistung 12 Petaflops (12 Billiarden Rechenoperationen pro Sekunde) 73 Petaflops (73 Billiarden Rechenoperationen pro Sekunde)
Rechenknoten 2511 CPU-Knoten + 56 GPU-Knoten 936 GPU-Knoten
Prozessoren insgesamt 5134 CPUs (Intel Xeon Skylake) + insgesamt 224 GPUs (NVIDIA V100) insgesamt 1872 CPUs (AMD EPYC Rome) + insgesamt 3744 GPUs (NVIDIA A100)
Rechenkerne 122.768 CPU-Kerne + 71.680 FP64-CUDA-Kerne (GPUs insgesamt) 44.928 CPU-Kerne + 12.939.264 FP64-CUDA-Kerne (GPUs insgesamt)
Arbeitsspeicher insgesamt 275 TB insgesamt 479 TB + insgesamt 150 TB High Bandwidth Memory
Netzwerk 100 Gb/s (Mellanox InfiniBand EDR) 200 Gb/s (NVIDIA Mellanox HDR InfiniBand)

Agnès Boudot, Senior Vice President, Head of HPC & Quantum bei Atos, erläutert, wie ihr Unternehmen zum Aufbau von Juwels beigetragen hat: „Beide Module stammen von Atos und basieren auf unserer „Bull Sequana X“ Infrastruktur, deren hocheffiziente, wassergekühlte, patentierte DLC-Lösung (Direct Liquid Cooling) wesentlich zum niedrigen Energieverbrauch des Systems beiträgt.“ Das Design stelle sicher, dass die Rechenleistung der CPU- und GPU-Blades in vollem Umfang von Anwendungen genutzt werden könnten.

Vorbereitet auf Zukunftstechnologien

Für Professor Lippert ist Juwels aber auch ein Meilenstein hin zum europäischen Exascale-Rechner, der ab 2023 an den Start gehen soll. Der Bau und Betrieb eines solchen Supercomputers gilt weltweit als nächster großer Schritt im Supercomputing. Mit einer Rechenleistung von mindestens einem ExaFlops, also von 1 Trillion Gleitkommaoperationen pro Sekunde, wäre er noch mindestens zwölfmal schneller als der Juwels zu diesem Zeitpunkt.

„Juwels` modulare Architektur, das Design seiner Rechenknoten, das Netzwerk, die Infrastruktur und die Kühlung sowie die Software-Architektur lassen sich ohne Weiteres auf einen Exascale-Rechner übertragen, wobei Kosten und Energieaufwand vertretbar bleiben“, so Lippert.

Auch in anderer Hinsicht ist Juwels bereits auf die Zukunft im Supercomputing vorbereitet. Die modulare Bauweise ermögliche es, Technologien zu integrieren, an denen auch im Forschungszentrum Jülich intensiv geforscht wird: Dazu gehören beispielsweise Quantencomputer- oder neuromorphe Module, die nach dem Vorbild des menschlichen Gehirns arbeiten.

Ergänzendes zum Thema
Das modulare Konzept und die Förderung

Das am Jülich Supercomputing Centre (JSC) verwirklichte modulare Konzept wurde in langjähriger Zusammenarbeit mit der Münchner Softwarefirma Partec entwickelt. Es sieht einen Superrechner aus mehreren spezialisierten Bausteinen vor, die sich über eine einheitliche Software je nach Bedarf dynamisch kombinieren lassen. Seit 2011 haben europäische Partner aus Industrie und Forschung unter Jülicher Leitung erste Systeme in modularer Bauweise entwickelt und erprobt, und das Konzept in den EU-geförderten DEEP-Forschungsprojekten beständig weiter ausgebaut.

Der Booster entstand aus einer Zusammenarbeit der Experten des JSC mit dem Supercomputer-Hersteller Atos (Frankreich), dem Software-Spezialisten Partec (Deutschland) und dem Grafikprozessoren-Hersteller Nvidia (USA). Der ebenfalls beteiligte israelische Netzwerkspezialist Mellanox wurde im Frühjahr dieses Jahres von Nvidia übernommen.

Die Finanzierung

Die Anschaffung des Juwel-Booster wird vom Bund und vom Land Nordrhein-Westfalen finanziert. Das JSC betreibt den Supercomputer als Mitglied des Gauss Centre for Supercomputing (GCS), dem Zusammenschluss der nationalen Höchstleistungsrechenzentren in Deutschland, zu denen die drei Rechenzentren des Forschungszentrums Jülich (JSC), der Bayerischen Akademie der Wissenschaften (LRZ) und der Universität Stuttgart (HLRS) gehören.

Die Rechenzeit wird nach Antragstellung und wissenschaftlicher Begutachtung auf nationaler und europäischer Ebene vergeben. Das GCS und das Forschungszentrum Jülich werden unterstützt vom Bundesministerium für Bildung und Forschung (BMBF) und dem Ministerium für Kultur und Wissenschaft des Landes Nordrhein-Westfalen sowie dem Ministerium für Wissenschaft, Forschung und Kunst Baden-Württemberg und dem Bayerischen Staatsministerium für Wissenschaft und Kunst.

Artikelfiles und Artikellinks

(ID:46999056)