„Ich brauche für Rennautos die passende Strecke“ Das Karlsruher Institut für Technologie rechnet nun mit dem Supercomputer Horeka

Am Freitag der vergangenen Woche ist „Horeka“, der aktuelle Hochleistungsrechner des Karlsruher Instituts für Technologie (KIT), eingeweiht worden. Er besteht aus zwei Komponenten: „Horeka-Green“ umfasst den Bereich mit auf Grafikprozessoren (GPUs) basierenden Rechenbeschleunigern, „Horeka-Blue“ den Bereich mit handelsüblichen Standardprozessoren (CPUs).

Anbieter zum Thema

Dell GmbH

Schneider Electric GmbH

Rosenberger-OSI GmbH & Co. OHG

100zehn GmbH

Lenovo Global Technology Germany GmbH

mehr weniger

Karlsruher Institut für Technologie (KIT)

weniger

Horeka gehörte bei seiner Inbetriebnahme Mitte 2021 zu den 15 leistungsfähigsten Rechnern Europas (auf der Top500-Liste nimmt er Platz 52 ein) und belegte bei der Energie-Effizienz Platz 13 im internationalen Supercomputer-Ranking (Green500). Er kann eine Rechenleistung von rund 17 PetaFlops erbringen – also etwa 17 Billiarden Rechenoperationen in der Sekunde, was der Leistung von mehr als 150.000 Laptops entspricht.

Fugaku bekleidet erneut den ersten Rang

Platzwechsel unter den Top Ten der Top500-Superrechner

Jennifer Buchmüller, Leiterin des Bereichs High Performance Computing am Steinbuch Centre for Computing (SCC) des KIT, erläutert mit welcher Messung Supercomputer es in das Top500-Ranking schaffen: „Um Horeka auf der Liste platzieren zu können, musste die Rechenleistung mit einer speziellen Benchmark-Anwendung – dem so genannten High Performance Linpack – vermessen werden.“ Dabei lösen die Recheneinheiten ein fest definiertes Gleichungssystem, aus der dafür benötigen Zeit ergibt sich dann die Leistung.

Vergleichbarkeit in Gefahr oder unsinnige Rangliste?

Kritik an Linpack-basiertem Ranking der Top500

Horeka ist vollständig im 2015 für den Vorgänger „ForHLR“ neu errichteten Rechnergebäude auf dem Campus Nord des KIT untergebracht. Allerdings steht das System Wissenschaftler:innen aus ganz Deutschland zur Verfügung, vor allem in den Erdsystemwissenschaften, den Materialwissenschaften, der Energie- und Mobilitätsforschung im Ingenieurwesen sowie der Teilchen- und Astroteilchenphysik.

Mehr Leistung für genauere Analysen

Zur offiziellen Einweihungsfeier hat Professorin Corinna Hoose beispielsweise erläutert, wie mithilfe von Simulationen das Entstehen und Auswirkungen von Gewitterzellen, insbesondere von Hagelniederschlag, erforscht wird, dank Horeka mit einer doppelt so hohen Auflösung, mit der der Deutsche Wetterdienst, Daten zur Verfügung stellen kann, nämlich mit einem Raster von 1 Quadratkilometer. Generell untersucht die Physikerin am Institut für Meteorologie und Klimaforschung die Rolle der Wolken für Wetter und Klima.

Horeka besteht aus fast 60.000 „Xeon Ice Lake"-Prozessorkernen von Intel, bietet mehr als 220 Terabyte Hauptspeicher und weist 668 „A100 Tensor Core“-GPUs von Nvidia auf. Als Kommunikationsnetzwerk kommt ein non-blocking „Mellanox Infiniband-HDR“-Netzwerk zum Einsatz mit 200 Gigabit pro Sekunde pro Port. Als Datenablage dienen zwei parallele „Spectrum-Scale“-Dateisysteme - die Technik stammt von IBM - mit einer Gesamtkapazität von mehr als 15 Petabyte.

Die hohe Genauigkeit bei der Erforschung von Eisbildung innerhalb von Wolken deutet es an: Ein zentraler Gesichtspunkt bei der Auslegung des Hochleistungssystems sind die enormen Datenmengen, welche bei wissenschaftlichen Forschungsprojekten anfallen. Je nach Anwendung können von einer einzigen Simulation mehrere Hundert Terabyte an Daten erzeugt werden. So liefern die Rechenknoten, das Infiniand-Netzwerk und die parallelen Dateisysteme von Horeka im Vergleich zum Vorgängersystem „ForHLR“ jeweils einen bis zu vier Mal höheren Speicherdurchsatz.

Spitzenklasse in der Energie-Effizienz

Eine mehrstufige Datenhaltung garantiert zusätzlich die Weiterverarbeitung auf externen Speichersystemen mit hohem Durchsatz. Horeka ist mit bis zu 45 GByte/s Datenrate an die „Large Scale Data Facility“ (LSDF) des SCC angebunden, die seit 2010 die Infrastruktur für die Speicherung, Verwaltung, Archivierung und Analyse von Forschungsdaten bietet.

Supercomputer benötigen zwar viel Energie, diese wird aber sehr viel effizienter als bei herkömmlichen PCs und Laptops eingesetzt. So lassen sich mit einem Watt elektrischer Energie rund 22,4 Milliarden Operationen in der Sekunde (22,4 GigaFlops/Watt) schaffen. Zum Vergleich: Das „Juwels Booster Module“ ein Beschleunigungs-Cluster, der seit Kurzem das Supercomputerzentrum in Jülich ergänzt, liegt mit 25 GigaFlops pro Watt auf Platz 8 der Green500-Liste.

Das System hat Lenovo als Generalunternehmer für das KIT gebaut. Es ist bereits der zweite Folgeauftrag des Kunden für Lenovo, so dass die Forschungsanstalt bereits Erfahrung mit den wassergekühlten Systemen von Lenovo hat. Allerdings ist es die erste Rechnergeneration, bei der auch die GPUs mit Wasser gekühlt werden, obwohl es bereits die vierte Generation wassergekühlter Rechner ist.

Die Eingangstemperatur liegt bei 35 Grad, so dass nahezu ganzjährig die Wasserkühlung mit den Rückkühlern auf dem Dach funktioniert; denn die Komponenten CPUs und GPUs werden zwischen 70 und 90 Grad heiß. Die Wassertemperatur liegt, wenn das Medium den Server verlässt, bei 45 Grad, der Durchfluss pro Stunde bei 90.000 Litern.

Beim KIT kann man sich jedoch vorstellen, die Abwärme künftig für ein Wärmenetz auf dem Campus zu verwenden. Da ein Fernwärmenetz höhere Temperaturen benötigt, müssten zum Aufheizen zusätzlich Wärmepumpen zum Einsatz kommen und die Forschungseinrichtung strebt möglichst hohe Nachlauftemperaturen an.

Giovanni Di Filippo, President EMEA bei der Lenovo-Abteilung ISG, hofft darauf, dass Horeka eine „Strahlkraft“ habe. Zum einen sei das KIT ein Kunde, der selbst durch „Leading Technologies“ glänze und deshalb ein „Aushängeschild für Lenovo sei.“ Zum anderem zeige die Forschungseinrichtung aber auch, dass sie Vertrauen in die Kombination Lenovo und Projektpartner Pro-Com Datensysteme habe; denn auch diese hat die Ausschreibung bereits ein zweites Mal gewonnen und konnte, trotz Pandemie, pünktlich liefern.

„HPC hat bei uns einen hohen Stellenwert“, sagt Di Filippo. Nicht nur der Markt wachse stark, auch die Bedeutung für die Gesellschaft. Ein Unwetter 2016 mit starkem Hagel hat einen Schaden von rund 1 Milliarde Euro verursacht. Könnten durch bessere Prognosen und entsprechenden Präventionsmaßnahmen auch nur die Hälfte der Schäden verhindert werden, beliefe sich unter Umständen die Schadensumme nur noch auf 500.000.000 Euro, überlegt Di Filippo.

IT-Beschaffung

Zugleich zeige die IT derzeit ihre starke Innovationskraft. Mithilfe der leistungsfähigeren Systeme ließen sich nun Probleme und Datenmengen angehen, die frühere Technik einfach nicht erlaubt haben. Letztlich hat das auch Auswirkungen auf den Beschaffungsprozess in Forschungseinrichtungen.

Früher sei angeschafft worden, was zum Zeitpunkt einer Ausschreibung auf dem Markt war, so Di Filippo. Da jedes System sehr individuell für den jeweiligen Kunden geplant und gebaut wurde, sei die Technik, wenn sie denn in Betrieb ging, häufig bereits veraltet gewesen. Heute bleibe man mit den Kunden in Kontakt und bereite sie auf die Technik vor, die in der Pipeline stecke. Der Horeka-Vorgänger ForHLR ging 2016 in Betrieb. 2018 begannen die Überlegungen für Horeka.

So wusste das KIT offenbar genau, was für ein System es wollte: wassergekühlt, leistungsfähiger, mit einer Platzierung in der Top500, zum Teil ausgestattet mit GPUs. Letzteres sei keine Selbstverständlichkeit, so Di Filippo. Denn auch auf Horeka sollen viele verschiedene Anwendungen laufen und viele davon sind nicht für die Beschleunigung beziehungsweise Parallelisierung durch die Grafikprozessoren geschrieben.

Die Limitierung in den Programmen

Sie neu zu codieren sei „harte Arbeit“, so der Lenovo-Manager. „Ich brauche eben für Rennautos auch die passende Strecke. “ Das gilt auch für ressourcenschonenden Code, denn sich allein auf die Wasserkühlung als Effizienzmittel zu verlassen, reicht nicht.

Horeka besteht aus 25 Racks. Der Energiebedarf einer CPU liegt bei 200 bis 250 Watt, eine GPU benötigt rund 400 Watt. Ein Chassis besteht aus sechs Höheneinheiten bestückt mit zwei CPUs und vier GPUs pro Höheneinheit, erläutert Andreas Thomasch, Director HPC & AI DACH, France, UKI bei Lenovo, um einen Begriff davon zu vermitteln, in welchen Energiedimensionen sich der Cluster bewegt.

So will das KIT Kurse anbieten, in denen ressourcenschonendes Programmieren vermittelt werden soll (siehe: Aufzeichnung der offiziellen Horeka-Inbetriebnahme). Zudem kann bei Bedarf auch der einzelne Code unter die Lupe genommen und verbessert werden.

(ID:47548626)