Make statt buy an der Uni Göttingen Datacenter-Erweiterung mitsamt Eisspeicher, Abwärmenutzung und viel Rechen-Power

Anbieter zum Thema

Vogel IT-Akademie

Georg-August-Universität Göttingen; Stabsstelle Presse- u. Öffentlichkeitsarbeit

Max-Planck-Institut für experimentelle Medizin

Max-Planck-Institut f.Dynamik u.Selbstorganisation

Max Planck-Institut für Biophysikal. Chemie

mehr weniger

Vertiv GmbH

DAXTEN GmbH

EPS Rechenzentrum Infrastruktur GmbH

weniger

Als der Aus- und Umbau der Datacenter-Ressourcen auf dem Göttingen Campus anstand, war die Frage: Selbst bauen oder auslagern? Warum man sich für zweiteres entschied und wie diese Entscheidung als Chance für innovative Konzepte genutzt wurde? Lesen.

Der Göttingen Campus ist die zentrale Einrichtung der Stiftung Universität Göttingen. Sie besteht aus der Georg-August-Universität mit 22.500 Studierenden, dem klinischen Maximalversorger Universitätsmedizin Göttingen und weiteren Einrichtungen.

Zu letzteren gehört auch die GWDG - Gesellschaft für wissenschaftliche Datenverarbeitung GmbH Göttingen. Die gemeinsame Einrichtung der Georg-August-Universität Göttingen - Stiftung Öffentlichen Rechts und der Max-Planck-Gesellschaft erfüllt die Funktion eines Rechen- und IT-Kompetenzzentrums für die Max-Planck-Gesellschaft und des Hochschulrechenzentrums für die Universität Göttingen.

Das heißt, dass sie gemeinnützig gemeinsame Hochleistungs-Datacenter-Ressourcen vorhält: ein nationales Hochleistungsrechenzentrum, von denen es deutschlandweit ein Dutzend gibt, das nationale HPC-Zentrum der DLR (Deutsche Gesellschaft für Luft- und Raumfahrt), ein nationales KI-Servicezentrum, Rechenressourcen für weitere nationale Initiativen und eine Wissenschafts-Cloud, an der auch die niedersächsischen Hochschulen partizipieren. Insgesamt greifen 150.000 Nutzende auf die Rechenressourcen zu.

Hohe Rechen- und Speicherkapazität

Dementsprechend ist die Kapazität hoch. Sie verteilt sich auf drei Rechenzentren, die gemeinsam eine Leistung von mehr als 5 Megawatt (MW) haben. Die Speichersysteme fassen über 120 Petabyte.

12.000 Server rechnen und 14,5 PetFlops (Petafloßs) HPC-Kapazität sind vorhanden. Die Einrichtungen gehören zur kritischen Infrastruktur und sind nach ISO 9001 und ISO 27001 zertifiziert.

Doch der Bedarf wächst weiter, beispielsweise durch KI und Hochleistungs-Datenanalyse (HPDA). Dafür brauchte man, so berichtet Professor Ramin Yahyapour, unter anderem CIO der Universität Göttingen, etwa anlässlich des 'Datacenter Strategy Summit 2023' in Bad Heilbronn, neue Infrastrukturen, unter anderem angepasste Hardware mit Beschleunigern und eine neue Speicherlandschaft.

Die Anforderungen der einzelnen Nutzergruppen waren unterschiedlich. Sie verwendeten disziplinspezifische Anwendungen, so dass insgesamt ein heterogener Gesamtbedarf besteht.

Vier Systeme parallel

Deshalb arbeiten am HPC-Standort Göttingen vier Systeme parallel. „Emmy“ beispielsweise versorgt die sieben norddeutschen Bundesländer mit Rechenressourcen. Die GPU-Erweiterung dieses Systems heißt „Grete“. Es schaffte es bei den deutschen 'Green 500 2022' auf Platz 1, weltweit auf Platz 12.

„Caro“ hingegen versorgt die DLR. „Kissky“ ist wiederum ein GPU-System, speziell für KI/ML in Medizin und Energieforschung. Daneben stehen leistungsstarke Lösungen für kleinere, lokale Applikationen.

Ab in die Hyperscaler-Cloud?

Nun mussten Yahyapour mit seinem Team entscheiden, ob man eher in die Cloud expandieren oder weitere eigene Ressourcen aufbauen sollte. Den üblichen Vorteilen der Cloud – Kosteneffizienz, Skalierbarkeit, Einsparung von Investitionen, Orts- und Geräte-unabhängige Dienstenutzung – standen gravierende Nachteile gegenüber, vor allem bei Flexibilität, Autonomie und Datenschutz. Auch die Eigenheiten der öffentlich-rechtlichen Finanzierung spielten eine Rolle.

Genau wie die erheblichen Egress-Kosten, die Hyperscaler erheben, wenn Anwender ihre Daten aus der Cloud ziehen wollen. Yahyapour: „Es hätte 80 Millionen Euro jährlich gekostet, auch nur einmal im Jahr auf alle Daten zuzugreifen.“

Schwammige Nachhaltigkeitsversprechen aus der Cloud

Dazu kommt: Die Nachhaltigkeitsversprechen der Provider „lassen sich schwer überprüfen“ (Yahyapour). Dabei wird gerade dieses Thema im Hochleistungsrechnen immer wichtiger.

So liegt die Nennleistung aller HPC-Systeme am Standort Göttingen bei 3,2 MW, der Verbrauch bei 8 GWh pro Jahr, was nach neuesten Daten der Stadtwerke München ungefähr 1.000 durchschnittlichen 4-Personen-Haushalten (pro Haushalt 8 MW/Jahr) entspricht. Das sind immerhin zwanzig Prozent des gesamten Stromverbrauchs der Uni Göttingen.

Eigenbau für Selbstkontrolle und mehr Flexibilität

Also entschied man sich für Eigenbau und gelegentliche Cloud-Nutzung für dedizierte Zwecke. So macht der Cloud-Anteil weniger als fünf Prozent der gesamten IT aus.

Schon bei der Standortwahl für die neuen Ressourcen spielte das Thema Nachhaltigkeit eine wichtige Rolle; denn das neue Rchenzentrum sollte innovativ gekühlt werden, seine Abwärme in die Nachbarschaft abgeben können und keinen Notstromdiesel brauchen. Gleichzeitig sollten ausreichend Stromversorgungsressourcen vorhanden sein und die Kosten im Rahmen bleiben.

Nun entstehen seit November 2017 mit geplanter Fertigstellung im Juni 2024 in zwei Bauabschnitten etwa 1.500 Quadratmeter Serverräume und genauso viele Technikflächen. Der Gesamtenergiebedarf der neuen Anlagen soll bei 3,2 MW liegen. Überbrückend wurde ein modulares Container-Rechenzentrum mit 1,2 MW aufgebaut.

Mehrere Kühltechniken parallel

Im neuen Rechenzentrum arbeiten mehrere Kühltechnologien nebeneinander. Damit die Kühleffektivität steigt, wurde die Temperatur im Serverraum auf 25 Grad festgelegt. Die HPC-Ressourcen werden mit Kalt- oder Warm-/Heißwasser gekühlt. Die übrigen Rechner nutzen Außenluft statt einer Klima-Anlage.

Für zusätzliche Kühlmöglichkeiten sorgt ein Eisspeicher mit 3,5 kW Kapazität, der als Forschungsprojekt betrieben wird. Er enthält Flüssigeis (mit Salz versetztes Wasser, R718) und kann maximal 1,2 MW über vier Stunden speichern.

Die Kälte, die im Eisspeicher erhalten wird, wird im Winter eingespeist und im Sommer genutzt. Er soll Bedarfsspitzen abfedern.

Abwärme heizt auch Gewächshäuser

Die Abwärme geht an den eigenen Bürotrakt. Gleichzeitig werden Gewächshäuser auf der anderen Straßenseite gespeist. Außerdem soll das Datacenter ans Fernwärmenetz angebunden werden.

Beim Aufbau der Gebäude wurde auch darauf geachtet, dass die Leitungswege möglichst kurz und Kühlung und Rechner sauber getrennt sind. Im Keller befinden sich die Stromversorgung und ihre Kühlung sowie räumlich abgetrennt die HPC-Ressourcen. Darüber liegt eine Ebene mit den Flüssigkühlaggregaten für die HPC-Ressourcen.

HPC ohne Redundanz

Die nächste Ebene enthält die übrigen Rechenressourcen. Darüber befinden sich die Aggregate für die Luftkühlung dieses Bereichs und auf dem Dach adiabatische Rückkühler für die erhitzte Luft aus dem Rechnerraum.

Es gibt 114 nicht redundante HPC-Racks (Tier 1). Sie werden mit Kalt- oder Heißwasser gekühlt. Die Stromversorgung besteht aus zwei 900-Kilowatt-Blöcken, dazu kommen 4x450 kW USV-Kapazität.

Die Leistung liegt einschließlich Kühlung bei Volllast bei 5,9 MW, der Verbrauch bei 28 GWh. Auf Redundanz wurde bewusst verzichtet, da HPC-Aufgaben nicht zeitkritisch sind.

HPC-Wasserkühlung on Chip

Die HPC-Kühlung erfolgt direkt am Chip. Jeder Server und jedes Rack ist mit entsprechenden Zu- und Abführungen respektive Versorgungseinheiten und Verteilungen ausgerüstet. Auch über Immersion als Kühlverfahren denkt Yahyapour nach. Diese Technologie wird aber heute noch nicht eingesetzt.

Die übrigen Ressourcen umfassen 174 Racks mit Kaltgang-Einhausung und besitzen Tier-3-Redundanz. Die A- und B-Stromversorgungen liefern 500 kW, USVs sind vorhanden. Die Kälteversorgung ist redundant. Gekühlt wird mit Außenluft, bei Tagen mit ungeeigneten Wetterbedingungen kann auf aktive adiabatische Kühlung umgeschaltet werden.

Verzicht auf Netzersatzanlage

Unterhalb der HPC-Rechner befindet sich eine mit einer Kältewand abgegrenzte Zone, in der langsamlaufende Lüfter die von außen angesogene kalte Luft nach oben in den Kaltgang blasen. Die Versorgung erfolgt mit Grünstrom, und dessen Beschaffung wird regelmäßig evaluiert.

Wie gewünscht, gibt es keine Netzersatzanlage, sondern zwei Anschlüsse ans 110-kV-Netz, die jeweils an einem eigenen Umspannwerk hängen, und redundante Transformatoren sowie USVs. Diese Installation kann die Gesamtanlage etwa zehn Minuten mit Strom versorgen.

Damit wurden alle beim Design festgelegten Ziele erreicht. Yayahpour: „Durch unsere Entscheidung für den Eigenbau sparen wir Geld, arbeiten nachhaltig und halten uns die Türen für kommende Technologie-Entwicklungen offen.“ Dafür wurde das Projekt auf dem 'Datacenter Strategy Summit 2023' in Bad Heilbronn in der Kategorie 'Datacenter Sustainability' mit einem Gold-Award ausgezeichnet.

(ID:49801440)