Hohe Rechenleistung für KI und Co. in kompakten Gehäusen und flüssig gekühlt Die Diggers Boxen mit Direct Chip Cooling im Cloud Datacenter von A1

Anbieter zum Thema

A1 Digital c/o Unicorn

Vertiv GmbH

DAXTEN GmbH

EPS Rechenzentrum Infrastruktur GmbH

200 GPUs für KI per Cloud in einem ehemaligen Abstellraum? Ja, das geht - beim Cloud- und Telekommunikationsanbieter sowie Co-Location-Betreiber A1 in Wien mithilfe der Flüssigkühltechnik von Diggers.

Das Datacenter-Angebot umfasst private cloud, den Betrieb von „Microsoft Azure“, Managed Services, IT-Outsourcing sowie virtuelle Rechen und Speicherressourcen in insgesamt zwölf Rechenzentren. Nicht alle sind von A1 auch gebaut, doch in Wien hatte A1 einst 40 Millionen Euro investiert und 2018 seit jüngstes Datacenter eröffnet,

17 Monate nach dem Spatenstich in Wien Floridsdorf (siehe: Abbildung1). Es umfasst es 8.000 Quadratmeter Gebäudefläche, 2.550 Quadratmeter Whitespace, die auf 4x 600 Quadratmeter Rechnerräume und 3 Netzwerkräume aufgeteilt sind it 2 x 6,0 Megawatt Anschlussleistung (2x aktiv) wird zu 100 Prozent mit grünem Strom betrieben. Die Verfügbarkeitsklasse entspricht Tier 3. Außerdem ist das Rechenzentrum EN-50600-konform.

Der Rechenzentrumsbetreiber kann für 2024 einen durchschnittlichen PUE-Wert von 1,39 nachweisen, bei einem Jahresenergiebedarf von rund 20 Gigawatt. Wie Martin Resel, CCO Enterprise A1 Österreich, erläutert, strebt das Unternehmen jedoch eine jährliche PUE-Reduktion von 10 Prozent an (siehe auch: Abbildung 3). Die Last pro Rack beträgt derzeit im Schnitt 8 bis 10 Kilowatt (kW). Einzelne Racks benötigen auch 40 kW, um die Workloads zu bewältigen.

Die A1-Rechenzentrumsangebote

Zu den jüngsten Entwicklung bei A1 zählt 2024 die Übernahme der NTT Austria GmbH beziehungsweise deren 100 Mitarbeiter. Sie haben die Kundschaft vor allem im Bereich Managed Infrastruktur Services entlang der gesamten Wertschöpfungskette unterstützt.

In diesem Monat hat A1 zudem seine Cybersecurity-Strategie mithilfe von Zscaler neu ausgerichtet. Die strategische Zusammenarbeit soll zu einer möglichst nahtlosen, Cloud-basierten Sicherheitsarchitektur für die Kundschaft führen, die Remote-Arbeitsplätze, Unternehmensstandorte und Software as a Service (SaaS) Applikationen vor Bedrohungen aus dem Internet schützt.

Bildergalerie

Bildergalerie mit 15 Bildern

Vergleichsweise neu ist auch die Partnerschaft mit anderen Rechenzentrums- und Cloud-Betreibern, die unter der Bezeichnung „Exoscale“ an in Europa und der Schweiz verteilten Standorten europäischen Cloud-Zonen anbieten, explizit in Konkurrenz zu den Hyperscaler-Angeboten. Alle Exoscale-Standorte (siehe: Abbildung 2) sind mit mehreren Leitungen der Stärke 10 Gigabit pro Sekunde (Gbit/s) direkt mit verschiedenen Tier-1- und Tier-2-Transitanbietern verbunden.

Mehrere Peering-Verbindungen mit wichtigen lokalen Akteuren sollen beste Leistung in den geografischen Gebieten garantieren. Die interne Vernetzung wird von einem 100-Gbit/s-Backbone unterstützt.

Das so genannte Next Generation Datacenter von A1 weist eine Kühlungsredundanz von N+1 auf dank einer derzeit üblichen Kaltwasser- und Free-Cooling- Kombination. Die kalte Luft wird über einen Doppelboden in Kaltgängen vor die Server geblasen. Doch nun wollen Exoscale, also der Cloud-Service-Provider der A1 Digital, und das österreichische Unternehmen Diggers GmbH gemeinsam an nachhaltigeren Rechenzentren arbeiten, mit dem Fokus auf Künstliche Intelligenz (KI).

Dazu brauche es das Flüssigkühlsystem von Diggers, Dieses verspricht eine deutliche Reduktion des Energieverbrauchs bei gleichzeitiger Nutzung der entstehenden Abwärme in den Rechenzentren der A1-Gruppe. Exoscale CEO Mathias Nöbauer, führt aus, warum A1 zu der, zugegebenermaßen noch nicht serienreifen, Technik greift.

Auch für Exoscale beziehungsweise A1 gelte, dass KI immer wichtiger werde und daher und in den Rechenzentren mehr Kapazitäten in Anspruch nehmen werde. Schon jetzt liege der Stromverbrauch von Rechenzentren in Deutschland bei etwa 20 Milliarden Kilowattstunden pro Jahr, mit steigender Tendenz.

Zwischen 20 und 25 Prozent dieser Energie wird für die Kühlung aufgewendet.lässt sich diese effizienter gestalten, entsteht enormes Einsparpotenzial in Sachen Energie-Aufwand. Das heißt: weniger Kosten und eine bessere CO₂-Bilanz. Sonst stelle sich sehr bald die Frage: In welchem Verhältnis stehen Aufwand und Ertrag von Künstlicher Intelligenz?

Flüssigkühlung ist gut, aber ...

Doch auch Kühlen mit Flüssigkeiten hat für ihn einen Pferdefuß. Nöbauer sagt: „Gegenwärtig sehen wir eine Rückkehr zur Kühlung der Rechenzentren mit Flüssigkeiten. Doch in vielen Fällen ist das sehr teuer, und die Abwärme wird noch viel zu selten genutzt.“

Ganz im Sinne des Souveränitätsgedankens machte sich A1 auf die Suche nach europäischen Alternativen und wurde im Heimatland fündig. „Wir halten es aber für einen sinnvollen Ansatz, die in unseren Rechenzentren entstehende Wärme weiter zu nutzen, sofern Aufwand und Ergebnis in einem sinnvollen Verhältnis stehen, und wir auch deutliche Verbesserungen in Sachen Nachhaltigkeit erzielen können. Der Ansatz unseres Partners Diggers geht genau in diese Richtung, ist nachhaltig und kosteneffizient.“

Bildergalerie

Bildergalerie mit 15 Bildern

Im Gegensatz zu konventionellen Klima-Anlagen nutzt das Diggers-System, das Nöbauer als „Cold Box“ bezeichnet (siehe: Abbildung 5), thermodynamische Effekte für den Flüssigkeitstransport, was den Energiebedarf erheblich reduziert. Die entstehende Abwärme kann mit einem Nutzungsgrad von bis zu 98 Prozent beispielsweise für Warmwasseraufbereitung oder in Nahwärmenetzen verwendet werden - zumindest theoretisch; denn diese Möglichkeit der Nachnutzung besteht bisher noch nicht.

Wie Martin Schechtner, CEO von Diggers, erläutert, beträgt die Wassertemperatur beim Austritt etwa 60 Grad. Er geht aber davon aus, dass sich das ohne größere Schwierigkeiten auf 70 Grad steigern lässt. A1 CCO Enterprise Resel geht davon aus, dass mit dem Diggers-System bis zu 50 Prozent der Energie im Vergleich zu traditionellen Rechenzentren einzusparen ist, die bisher für die Kühlung eingesetzt wird.

Darüber hinaus ergäben sich weitere Vorteile: Die Rechnerräume könnten niedriger sein, der Doppelboden und die Einhausungen fielen weg. Zudem ließen sich solche Systeme selbst in rauen beziehungsweise staubigen Umgebungen betreiben.

Die Pilotinstallation

Derzeit ist die Diggers-Technik bei A1 in einer Pilotinstallation vorzufinden - mitsamt 100 Nvidia-GPUs der Ausführung „A5000/3880D“ und Coolant Distribution Units von Diggers. Es lassen sich aber auch CDUs von anderen Herstellern verwenden. Die nächste Technik-Gerenation wird standardisiert geliefert werden können, weniger sichtbare Kabel und Schläuche aufweisen und in Standard-Racks einbaubar und damit in neue und in bestehende Rechenzentren integrierbar sein.

Die Rechenzentren benötigen dafür lediglich einen Wasseranschluss und die Stromversorgung. Im Wiener A!-Rechenzentrum hat der Betreiber einen ehemaligen Lagerraum ausgeräumt, um für die Computer Platz zu schaffen. Nichtsdestotrotz wirkt die Installation keinesfalls wie eine Bastelarbeit.

Das hat auch erste Kunden überzeugt, die die Anlage bereits nutzen. Im nächsten Schritt plant A1 binnen eines Monats die Verdopplung der Computerleistung vor Ort. Dann können auch weitere Kunden, die wassergekühlten Server nutzen - sowie weitere Rechenzentren damit auszustatten.

Die Diggers-Technik

Im Prinzip handelt es sich bei dem Diggers-System um Direct-Chip-Cooling mithilfe einer so genannten Cold Plate (siehe; Abbildung 6ff). Diese Platten sind aus Aluminium, was einer Korrosion vorbeugen soll.

Integriert sind so genannte Mikrokanäle, die die Wärme der Grafikprozessoren oder der CPUs direkt aufnehmen. Wie der Diggers-CEO erläutert, wird die kommende Generation insbesondere die Effizienz dieser Micro Channel noch einmal deutlich erhöhen: „Die Wärmeübertragung wird um den Faktor 10 gesteigert“.

In einer jetzigen Cold Box, die mit einer einer Ventilatoren-bestückten rückseitigen Tür ausgestattet ist, finden vier Server Platz. Die eingebauten Cold Plates sind oben und unten mit GPUs bestückt. In dem jetzt installierten Format finden so sechs Nvida-GPUs Platz (siehe: Abbildung 10ff). Ein jetziger Standard-CPU-Kühlkörper ist etwa 16 Zentimeter hoch und würde in dem kompakten Design von Diggers nicht einmal Platz finden.

Die Kühlung funktioniert mit zwei Kühlkreisläufen (siehe: Abbildung 15). Auf der Primärseite liefert das normale A1-System rund 18 Grad kaltes Wasser. Im Rücklauf hat sich Temperatur auf rund 20 Grad erhöht, hat aber zuvor im Kreuzstrom (18 Grad und 25 Grad) den Plattenwärmetauscher passiert. Der Sekundärkreislauf ist der, der in den Servern stattfindet und zwar parallel in allen angeschlossenen Servern mittels der Mikrokanäle in den Aluminiumplatten.

A1 misst die Daten des installierten Systems mithilfe einer Open-Source-Software (siehe: Abbildung 16), die sich ohne Weiteres in andere Datacenter-Instrastructure-Management-Systeme oder andere Software-Produkte für das Umwelt-Reporting integrieren lassen. So will A1 die Nachhaltigkeitsberichterstattung auch für die Kundschaft erleichtern.

Die Studenten der École Polytechnique Fédérale de Lausanne (EPFL) in Lausanne haben am vergangenen Wochenende das System getestet. Andrei Kucharavy, Assistenzprofessor, Co-Leiter des Genlearning Center, HES-SO Valais-Wallis & Cyril Vallez, Machine Learning Engineer, Hugging Face, fasst die Erkenntnisse zusammen: „Alles verlief extrem reibungslos, und selbst als alle gleichzeitig auf die Server trafen, beulte nichts aus. Es ist wirklich das erste Mal, dass ich bei einem Workshop sehe, dass die Modelle so reibungslos laufen!“

Die Stabilität und Leistung der GPUs von Exoscale habe es den über 50 Teilnehmern, hochmoderne LLMs nahtlos und ohne Engpässe einzusetzen und damit zu experimentieren. Er schließt: „Der Zugang zu einem souveränen und skalierbaren europäischen Cloud-Anbieter ist ein echter Gewinn für Forscher und Entwickler, die an KI arbeiten."

(ID:50333268)