Hessische AI und AR beim Datacenter-Management Was tut sich im Green IT Cube der GSI Helmholtz Gesellschaft für Schwerionenforschung?

Anbieter zum Thema

TU Darmstadt

NVIDIA GmbH

Hewlett Packard Enterprise

GSI Helmholtzzentrum für Schwerionenforschung GmbH

DAXTEN GmbH

mehr weniger

Data Center Group – Büro Köln

EPS Rechenzentrum Infrastruktur GmbH

weniger

Im „Green IT Cube“, dem Rechenzentrum des GSI Helmholtzzentrum für Schwerionenforschung in Darmstadt werden zwei neue Etagen in Betrieb genommen. Dort entsteht ein 'Digital Open Lab'. Ein Kooperationspartner, der diese Datacenter-Infrastruktur nutzt, ist der „Hessian AI Cluster“.

Hessens neues AI-Zentrum (Hessian Center for Atrificial Intelligence, hessian.ai) hat eine Heimat für seine Infrastruktur gefunden: Der Rechner der Initiative steht in Darmstadt, genauer: in einem von zwei neu in Betrieb genommenen Stockwerken des Green IT Cube. Das Rechenzentrum, das als eines von wenigen nach den Kriterien des 'Blauen Engel für Rechenzentren' ausgezeichnet wurde, gehört dem GSI Helmholtzzentrum für Schwerionenforschung.

Eine der neu in Betrieb genommenen Etagen beherbergt das Digital Open Lab. Dessen Rechenzentrumsinfrastruktur wurde vom Post-Covid-Wiederaufbaufond „REACT-EU“ mit 5,5 Millionen Euro finanziert. Dort belegt das Superrechner-System 16 von 128 Racks.

Hessian.ai steht unter der Ägide dreier hessischer Ministerien. Beteiligt sind die Ministerien für Wissenschaft und Kunst, für Digitale Strategie und Entwicklung sowie für Wirtschaft, Energie, Transport und Bauwesen. Auch das Bundesministerium für Wissenschaft, Forschung und Bildung (BMBF) steuerte etwas bei. Sie finanzierten gemeinsam die in dem AI-Cluster genutzten IT-Systeme.

Innovation, Service und Umsetzung

An der Initiative nehmen 13 hessische Universitäten teil. 22 AI-Forscher bringen ihr Wissen ein. Zusätzlich wurden 22 neue Professorenstellen geschaffen. In den kommenden Jahren soll hessian.ai rund 40 Millionen Euro in AI-Infrastruktur und Services für Anwender, die diese Infrastruktur nutzen wollen, investieren.

Hessian.ai bietet ein Innovationslabor, ein Servicezentrum und ein AI Lab an. Das Labor bietet die nötige IT-Infrastruktur und ihren Betrieb, die Datacenter-Infrastruktur stellt wie schon erwähnt das Digital Open Lab. Dazu kommen Kapazitäten in der Software-Erstellung. Das Servicecenter (hessian.AISC) soll helfen, Forschungsergebnisse in praxisrelevante Anwendungen und Produkte in westeuropäische Qualitätsstandards zu überführen.

Das Innovationslab von hessian.ai bietet Rechenleistung, Beratung und Möglichkeiten zur Zusammenarbeit mit Wissenschaftlern oder anderen Beteiligten am Ökosystem von hessian.ai. Zu den Partnern der Initiative gehören mit HPE, Nvidia, der GSI und die TU Darmstadt sowie etablierte Einrichtungen und Firmen. Dazu kommen Startups wie Proteineer, ein Hersteller innovativer Beschichtungen, Compredict, ein Hersteller virtueller Sensoren und Summetix. Diese Firma hieß früher Argumentext und verwendet generative Sprachmodelle, um bislang nicht mögliche Erkenntnisse über Kunden aus deren Feedback zu gewinnen.

Superrechner unter den Top100

hessian.ai soll exzellente AI-Forschung betreiben. Das Handwerkszeug dafür ist ein Supercomputer, der auf HPEs System „Apollo 6500“ basiert. Seine Spitzenleistung liegt bei 8 PetaFlops. Das System landete damit auf Platz 99 der Top500 vom November 2023. Es ist damit das letzte von etwa zwei Handvoll deutschen Systemen unter den ersten Hundert.

Zum Vergleich: Deutsche Nummer 1 ist der Garchinger „SuperMUC-NG“ aus Lenovo-Rechnern mit einer Spitzenleistung von knapp 27 und einer Dauerleistung von knapp 20 PetaFlops. Der weltweite Spitzenreiter „Frontier“ steht in den USA und hat mit knapp 1,7 ExaFlops Spitzen- und knapp 1,2 ExaFlops Maximalleistung die Exa-Grenze überschritten, ist also rund 200 mal leistungsfähiger als das neue hessische System.

In den aktuellen Green Top500 steht der Rechner auf Platz 41 mit 22,5 GigaFlops/Watt. Nummer 1 ist „Henri“, ein Lenovo-System im US-amerikanischen Flatiron-Institut. Dieses Gerät schafft 65,4 GigaFlops/Watt und damit fast das Dreifache.

Der 'grünste' deutsche Superrechner steht in der Goethe-Universität in Frankfurt. Er leistet 46,6 GFlops/W.

632 Tensor-GPUs arbeiten für hessian.ai

Der AI-Cluster von hessian.ai besteht aus 632 „Nvidia A100„-Tensor-GPUs. Jede von ihnen hat 80 GByte Memory. Dazu kommen vier IPU-Einheiten von Graphcore.

Die rechnenden Einheiten sind über 80 Compute-Knoten verteilt und über ein auf „Nvidia Quantum Infiniband“ basierendes Hochleistungsnetzwerk verbunden. 1,2 PetaByte zentraler „IBM-Spectrum-Scale-Flash“ sind für alle Knoten über dasselbe Netz zugänglich.

Das System leistet maximal 8 PetaFlops. Es heißt „42“. Hier stand der allwissende Computer aus dem Roman „Hitchhikers Guide to the Galaxy“ Pate, der alle Fragen mit dieser Zahl beantwortete. Die Hoffnung ist aber wohl, dass der neue Superrechner mehr als das immer gleiche Ergebnis 42 auf komplexe Fragen ausspucken wird.

AR-Brille für Rechenzentrums-Management

Das hessische AI-Zentrum ist aber nicht der einzige neue Kooperationspartner, den das Rechenzentrum dank erweiterter Flächen für sich gewonnen hat. Neu ist allerdings auch eine Kooperation, an der das Rechenzentrum selbst zur Erleichterung des Infrastruktur-Managements großes Interesse hat.

Derzeit wird dort mit „Hololens“, einer VR-Brille, experimentiert. Wenn man sie aufsetzt, sind die Systeme in den Racks zu sehen. Gleichzeitig können auf Wunsch die dazu gehörenden Datenblätter und weitergehende Informationen eingeblendet werden.

Betriebsleiter Rechenzentren / Gruppenleiter Datacenter bei GSI Helmholtz Centre for Heavy Ion Research, bestätigt: „Das ist nützlich bei der Inspektion des Rechenzentrums, denn man sieht sofort, ob alles in den Racks an seinem Platz ist.“

Reparaturanleitungen einblenden

Andere denkbare Anwendungen sind virtuelle Reparaturanleitungen, die direkt am Gerät eingeblendet werden, sobald sich ein Servicetechniker an die Arbeit macht. Erfahrene Mitarbeiter könnten so Neulinge aus der Ferne bei ihrer Arbeit unterstützen.

Für später kann sich Kreiser auch vorstellen, an den Systemen generierte Sensorinformationen, etwa über die Raumtemperatur an verschiedenen Stellen oder die Luftfeuchtigkeit, in die Brillen einspielen zu lassen. „Solche Anwendungen können den Rechenzentrumsbetrieb erheblich vereinfachen“, ist er überzeugt.

Und das ist noch nicht alles. Kreiser: „Wir stehen mit weiteren Partnern in Verbindung, die anspruchsvolle Anwendungen mit GPUs realisieren wollen.“ Mehr will der Manager dazu noch nicht sagen.

Kühlung bewährt sich

Die Kühlmethoden am GSI haben sich auch bei der Erweiterung bereits bewährt. Zwar stieg die Leistung der neu bestückten Racks mit Grafikbeschleunigern bereits auf 25 Kilowatt (kW). Doch laut Kreiser kann die Kombination aus leistungsfähigen Lüftern und einer flüssigkeitsgefüllten Rücktür an den Racks auch diese Wärmelast noch abtransportieren.

Und die Abwärme? Sie wird derzeit zu einem kleinen Teil dafür verwendet, Büros und andere Betriebsräume zu beheizen. Hier sei auf Dauer mehr drin, ist Kreiser überzeugt.

Erweiterte Abwärmenutzung angedacht

Man arbeite an Überlegungen und Studien für die weitergehende Abwärmenutzung. Beispielsweise gebe es in der Nähe Erdbeerfelder und andere landwirtschaftliche Nutzungen, die eventuell etwas mit der Abwärme anfangen können.

Grundsätzlich denkt man am GSI aber auch „über ganz andere Lösungen“ nach. Welche das sind, darüber will sich Kreiser nicht äußern. Sicher ist er sich allerdings, dass mit steigenden Systemleistungen kein Weg an der Wasserkühlung vorbeigeht. „Sehr hohe Rack-Leistungen lassen sich mit den herkömmlichen Verfahren nicht mehr kühlen.“

Standardsysteme mit Wasserkühlung gesucht

Allerdings äußert er hier auch Kritik an den Herstellern. Denn die lieferten heute „vor allem Spezialfertigungen“ für bestimmte Prozessoren oder Applikationen. Nötig seien aber Standardsysteme, die auch ganz normale Nutzer ansprechen. Nur so lasse sich der Markt für Wasserkühlung letzten Endes weiter ausdehnen.

Denn die Skepsis gegen „Wasser im Rechenzentrum“ sei laut Kreiser noch immer sehr hoch. „Wir würden uns schon freuen, wenn wir einmal funktionierende Vorseriensysteme von normalen Standardrechnern mit Wasserkühlung bei uns testen könnten“, sagt er. Wie lange Kreiser darauf noch warten muss, steht in den Sternen oder hoffentlich schon in der konkreten Planung der Hersteller.

(ID:49840056)