Auf KI ge-Switch(t) heißt: bis zu 40 Megawatt ein paar mal pro Sekunde Unter Spannung: elastische Infrastrukturen on-prem

Anbieter zum Thema

Red Hat GmbH

NVIDIA GmbH

SuSE Linux Solutions AG

SUSE Software Solutions Germany GmbH

Vertiv GmbH

mehr weniger

DAXTEN GmbH

Data Center Group – Büro Köln

weniger

Die KI glüht heiß auf; beispiellos entfesselt auf Rack-skalierbaren Infrastrukturen will sie in das Rechenzentrum vor Ort einziehen - sofern die Stromversorgung mitspielt. Switch Data Centers haben bereits umgeschaltet und umgesattelt: auf Rack-skalierte Elastizität mit Oxide-Computer und Suse. So kann man ruhig Dampf ablassen.

Im Rechenzentrum war Strom immer der Nebenschauplatz, beobachtet ganz trocken Zia Syed, EVP für Software Engineering bei Switch Data Centers, einem führenden Betreiber von hyperskalierbaren Rechenzentrumsinfrastrukturen in den Vereinigten Staaten. Strom sei stets „ein Thema für die Haustechnik“ gewesen: einfach da, einfach verfügbar. Mit dem Aufkommen der KI habe sich das auf einmal geändert.

„Heute ist uns allen klar, dass wir ein Stromversorgungsproblem haben“, sagt Syed. Er weiß, wovon er redet. In seiner aktuellen Rolle leitet er die strategische Entwicklung und Integration von KI-gestützten Softwarelösungen zur Maximierung der Effizienz in den Rechenzentren von Switch. Das Unternehmen zählt zu den innovativsten Rechenzentrumsbetreibern der Welt.

Leistungsdichte in neuen Dimensionen

In der Vergangenheit wurden Computing-Infrastrukturen um die drei klassischen Dimensionen der Skalierbarkeit herum optimiert: die Rechenleistung, den Datenspeicher und das Netzwerk, als man begann, Workloads zu entkoppeln und über Systeme hinweg zu verteilen. Aber jetzt?

„Allein die Beispiel-Workloads, die wir in meinem Labor zu Testzwecken fahren, bringen wir auf vier Megawatt Leistung – hoch und wieder runter – innerhalb von Sekunden, und das auch noch mehrfach hintereinander“... Alles nur, um zu prüfen, ob das System funktioniere.

So leistungsintensiv und dynamisch würden die KI-Workloads bei Switch arbeiten, dass es nicht mehr möglich wäre, diese Schwankungen direkt ans öffentliche Stromnetz weiterzugeben, ohne es massiv zu destabilisieren. „Wir können das Stromnetz gar nicht mehr direkt belasten,“ seufzt Syed.

Switch müsse stattdessen mit eigenen Energiesystemen arbeiten. Ein durchschnittlicher amerikanischer Haushalt verbrauche etwa zwei Kilowatt Strom – unter normalen Bedingungen. Wenn man jedoch wirklich sämtliche Geräte im Haus gleichzeitig einschaltet, liege der maximale Verbrauch bei rund 9 bis 10 Kilowatt.

Ein typischer IT-Rack, auf dem etwa „Suse Enterprise Linux“ in einem gewöhnlichen Rechenzentrum liefe, sei in der Regel für 8 bis 10 Kilowatt ausgelegt, würde aber im Durchschnitt mit einer Leistungsaufnahme von etwa 4 bis 5 Kilowatt arbeiten. Ein gewöhnlicher Rack entspreche also ungefähr dem Stromverbrauch von zwei US.-Haushalten.

„Wir betreiben derzeit „Nvidia H100“-Systeme mit einer durchschnittlichen Leistungsaufnahme von 35 Kilowatt pro Rack,“ so Syed. Die neuen „GB200“-Systeme, die mit Direct-to-Chip-Kühlung gerade eingeführt werden, liegen bereits bei 135 Kilowatt pro Rack. Dieser Sprung in der Leistungsdichte habe sich in den letzten zwei Jahren ereignet, bestätigt Syed aus erster Hand. Die nächsten Generationen von KI-Systemen würden noch mehr Leistung aufnehmen.

Switch Data Centers habe bereits Racks mit einer Kapazität von 200 Kilowatt im Betrieb, erwähnt Syed trocken fast nebenbei und erläutert weiter: „Als Ziel haben wir uns vorgenommen, innerhalb der nächsten Jahre ein Megawatt pro Rack zu erreichen“.

Wenn man einmal eine Megawatt-Leistung aus unmittelbarer Nähe erlebt habe, bekäme man dies deutlich zu spüren. Das fühle sich ganz anders an. „Bei meiner ersten Tour durch unsere Anlage wurde mir das richtig bewusst: Wir bekommen 120.000 Volt direkt vom Netz in unsere Umspannstation“. Von dort senke Switch die Spannung auf 48.000 Volt ab, dann weiter auf 12.000 Volt, danach auf 480 Volt – und schließlich auf 220 und 110 Volt, verteilt auf drei Phasen.

Wenn man diese gesamte Infrastruktur durchliefe, beginne man zu verstehen, was da wirklich passiert. Spätestens im Bereich der 40.000 Volt – also im Bereich der Mittelspannung – sei das elektromagnetische Feld so stark, dass man es physisch spüren könne.

Den Betrieb oder den Bau eines Rechenzentrums könne man nicht mehr als einfache Aufgabe betrachten – nicht, wenn man mit solch enormen Strommengen arbeite. Heute würde es nicht mehr ausreichen, das Wachstum einfach nur zu verstehen. Man müsse jede bisher getroffene Annahme grundsätzlich hinterfragen, so Syed.

Denn sobald man Hochleistungsstrom in eine Anlage bringe, stehe man laut Syed sofort vor dem zentralen Problem: „Wie werde ich die entstehende Abwärme jetzt wieder los?“

Das Gewicht der Verantwortung

Ab etwa 35 bis 40 Kilowatt pro Rack stößt Luftkühlung an ihre physikalischen Grenzen. Luft verliert in diesem Bereich deutlich an Kühlleistung und Wärmekapazität. Luft allein reicht dann nicht mehr aus. Flüssigkeitskühlung müsse man aber zuverlässig und skalierbar einsetzen, um die Verfügbarkeit bei 100 Prozent aufrechtzuerhalten, beobachtet Syed.

Plötzlich stünde der Betreiber dann nämlich vor zwei ganz neuen physikalischen Herausforderungen. Das eine sei das Gewicht des Wassers, das durch die Anlage transportiert werden müsse, und das andere die Geschwindigkeit, mit der es bewegt werde. „Da fließen große Mengen Wasser durch extrem teure Hardware“ stellt Syed trocken fest, und setzt hinzu:

Jeder einzelne GB200-Rack koste über 3,5 Millionen Dollar. Switch Data Centers habe Hunderte davon allein im Testlabor. „In manchen Bereichen, in denen wir Strömungssimulationen [Engl. fluid dynamics] durchgeführt haben, fließt das Wasser mit bis zu 30 Kilometer pro Stunde (km/h) durch die Leitungen im Rechenzentrum“ enthüllt Syed. Trete ein Fehler auf, würde man logischerweise den Wasserfluss stoppen. Das Wasser drückte dann aufgrund seiner Trägheit auf einmal mit voller Wucht gegen Infrastrukturbauteile.

Nicht gut. Diese Energie könne Rohrleitungen zerreißen oder Gebäudestrukturen beschädigen. Der Betreiber der Anlage müsse dementsprechend alles vorab durchdenken, vom Brandschutzsystem über Kühlung, Luftstromführung, Leistungsbündelung bis hin zur AC-DC-Wandlung.

Ohne durchgängige Softwarearchitektur könne man die physikalischen Abläufe in einem KI-Rechenzentrum in Echtzeit gar nicht mehr steuern. In einem typischen Rechenzentrum mit dem klassischen Abrechnungsmodell werde der Stromverbrauch etwa einmal pro Stunde gemessen. „Wir mussten anfangen, [die Spannung und Stromstärke] alle 10 Sekunden zu messen,“ über das gesamte System hinweg, enthüllt Syed.

Warum? Weil es bei diesen Leistungsdimensionen entscheidend sei, die Energieversorgung maximal effizient zu gestalten.

Deshalb sei sein oberstes Ziel, die verfügbare elektrische Energie mit 100 Prozent Effizienz zu nutzen. Das sei nur mit Gleichstrom zu bewerkstelligen.

Der berühmte Streit zwischen Nikola Tesla und Thomas Edison gegen Ende des 19. Jahrhunderts war im Kern ein technologischer und wirtschaftlicher Wettstreit zwischen zwei konkurrierenden Stromsystemen: Wechselstrom (Tesla) gegen Gleichstrom (Edison). Dieser Konflikt hat heute im Kontext der Stromversorgung von KI-Racks wieder an Aktualität gewonnen.

Ein Votum für den Gleichstrom

Die Effizienz der Energieversorgung im Rechenzentrum hängt maßgeblich vom Verhältnis von Spannung (Volt) zu Stromstärke (Ampere) ab. Dieses Verhältnis beeinflusst die Verlustleistung durch Wärme, die Belastung der Infrastruktur (z. B. Dimensionierung von Kabeln, Sicherungen, Wandlern) sowie nicht zuletzt die Verfügbarkeit und Sicherheitsaspekte (etwa bei Phasenungleichgewichten im Wechselstromsystem). Was bei Tesla und Edison noch ein ideologischer Streit war, ist heute bei Switch ein Echtzeitproblem der Energie-Optimierung.

Dazu bedürfe es einer Infrastruktur, die Sensordaten in Echtzeit erfassen könne, diese Daten sofort verarbeiten würde und sie dann über alle Regel- und Steuerpunkte hinweg aggregiere, enthüllt Syed. Diese Anforderungen würden eine völlig neue Methodik auf den Plan rufen; ein radikal anderes Verständnis davon, wie man Software-Infrastruktur bauen müsse, um den physikalischen Realitäten von KI-Arbeitslasten gerecht zu werden.

„Wie baue ich eine Infrastruktur, bei der ich weiß, dass Probleme auftreten können – aber die sich schnell davon erholen kann, so dass ich meine Verfügbarkeitsziele trotzdem einhalte?“ fragten sich die Ingenieure von Switch. Das sei ein fundamental anderer Ansatz als der klassische „Cloud-native“-Gedanke.

Um ein so umformuliertes Ziel zu erreichen, müssten die Grundbausteine der Infrastruktur möglichst einfach sein. Denn Simplizität würde [besser] skalieren [als Komplexität].

Ganz einfach zu skalieren

Die größte Bedrohung für die Skalierbarkeit und Resilienz einer Facility führt Syed auf die Verzwicktheit der Versorgungsketten zurück. In den ursprünglichen Racks bei Switch stammten die Storage-Medien von einem Hersteller, die Netzwerktechnik von einem anderen und die Server selbst von einem dritten Anbieter. Das lief auf drei verschiedene Bezugsverträge, drei unterschiedliche Management-Oberflächen, drei separate Systeme für Überwachung und Alarmierung - „Schichten über Schichten an verschwurbelter Virtualisierung und verschachtelter, verstrickter, überwältigender Komplexität“.

Die Architektur der „geschichteten Torte“ würde im Betrieb zu so vielen Problemen führen, dass die Techniker der wahren Ursache gar nicht mehr auf die Spur kommen könnten, bestätigt Bryan Cantrill, Mitgründer und CTO bei der Oxide Computer Company.

„Das kann doch nicht der richtige Weg sein!", glaubt Syed.

Bildergalerie

Hyperscaler wie Google oder Amazon hätten sich ja auch längst schon anders arrangiert, doch den übrigen Betreibern wie Switch Data Centers war der Zugang zu vergleichbaren integrierten Lösungen bisher prinzipiell versperrt.

Zur Bereitstellung reibungsloser — weil integrierter — Elastizität lag es für Switch Data Centers nahe, sich über die ideale Skalierungseinheit der Hardware Gedanken zu machen. Unter einer Skalierungseinheit versteht er „das Board-Support-Package auf einem Server – wie es eine CPU hochfährt, wie diese Hilfsstromüberwachung bereitstellt, wie die IPMI- oder BMC-Schichten implementiert werden.“

Jedes Schalterelement in der Lieferkette müsse getestet und validiert sein – von der Fabrik über die Herstellung und Montage bis hin zur Distribution. Dieses Problem konnte Switch letztendlich auf einen Schlag lösen: in Zusammenarbeit mit Oxide Computer Company, einem kalifornischen Anbieter von rackskalierten Lösungen für das Rechenzentrum vor Ort.

Skalierung auf Basis integrierter Racks

„Unsere Compute-Infrastruktur läuft vollständig mit Gleichstrom, nicht mit Wechselstrom“, sagt Brian Cantrill, Co-founder and CTO bei Oxide Computer Company. Letztendlich müsse man irgendwo von Wechselstrom (AC) auf Gleichstrom (DC) umwandeln. „Diese Umwandlung bringt unvermeidliche Ineffizienzen mit sich,“ so Cantrill. Wenn die Umwandlung in jedem einzelnen Server stattfindet, entstehen enorme Ineffizienzen.

Erstens werde überall im Rack Wärme erzeugt. Zweitens seien AC-Netzteile vollgestopft mit Komponenten und dadurch ineffizient. Sie erzeugten eine Menge Abwärme und einen enormen statischen Druck, weil sie „mit Zeug überfüllt“ seien. Hinten stecke ein winziger Lüfter; damit das Netzteil klein bleibt. Kleine Lüfter seien extrem ineffizient. In Hyperscale würde es niemand so machen.

„Was die [Hyperscalers] tun – und was wir bei Oxide ebenfalls umgesetzt haben“, sagt Cantrill, liefe auf hyperkonvergente Skalierbarkeit im Rack-Maßstab hinaus.

Der Oxide-Rack versorgt seine Subsysteme mit Gleichstrom. Man habe ein Power-Shelf (siehe Bildergalerie) mit Gleichrichtern, der Wechselstrom (AC) in Gleichstrom (DC) umwandelt: Der Gleichstrom, der da herauskommt, werde über eine massive Kupferschiene – eine richtig große dicke Kupferleiste – auf die Einschübe (die so genannten „Sleds“) verteilt.

Bildergalerie

Solch ein System mit einer Gleichstrom-Kupferschiene (Stichwort: DC-Busbar) könne man bei den etablierten Anbietern wie Dell, HPE oder Supermicro nicht kaufen, so Cantrill weiter. Das liege nicht daran, dass sie nicht wüssten, wie sinnvoll dieser Ansatz sei. Um so ein System umzusetzen, müsse das gesamte Rack zur neuen Skalierungseinheit werden.

Mit diesem Ansatz ließe sich elastische Infrastruktur in einem On-Premises-Rechenzentrum umsetzen. Die Basiseinheit der Bereitstellung darf dann aber nicht mehr ein einzelner 1U- oder 2U-Server sein – also kein einzelner Rackmount-Computer“. Das aber würde den etablierten Anbietern nicht in den Kram passen.

Denn wer das Problem der Hyperkonvergenz im Rack-Maßstab lösen wollte, müsse auch das Thema Switch von Grund auf überdenken, glaubt Cantrill. Denn wenn man einfach auf herkömmliche Lösungen von Cisco, Arista oder Juniper setzte, würde man all die bekannten Probleme wieder reproduzieren. Der Switch im Rack von Oxide ist ein eigenständiger Computer mit einem Switching-ASIC, einer Management-CPU, Stromversorgung und Netzwerkports.

Eine Entwicklung: Cloud-Software und Rack-Level-Hardware

Eine der zentralen Herausforderungen für Oxide Computer bestand darin, eine einheitliche Management-Software zu entwickeln. Anders als bei herkömmlichen Rechenzentrumsarchitekturen, in denen Hardware und Management-Tools typischerweise von unterschiedlichen Herstellern stammen und mühsam zusammengesetzt werden müssen, verfolgt Oxide einen konsequent vertikal integrierten Ansatz.

Die Management-Software (siehe: Bildergalerie Abbildung 4) – das so genannte Control Plane – greift tief in die Hardware ein. Sie übernimmt zentrale Aufgaben wie das Provisionieren von virtuellen Maschinen, die Zuweisung von Speicher und Netzwerk, sowie das Monitoring und die Steuerung der Infrastruktur. Die Switches sind P4-programmierbar (Programming Protocol-Independent Packet Processors). Die Management-Software kann direkt auf den Switch zugreifen, Routing-Entscheidungen anpassen und Netzwerkpfade in Echtzeit optimieren. Die Umgebung ist mehrmandantenfähig.

Die Hardware- und Software-Co-Design-Philosophie von Oxide erlaubt es, Funktionen wie dynamisches Power-Management oder Delay-basiertes Multipath-Routing (Delay Driven Multipath Routing, kurz DDM) direkt in die Infrastruktur zu integrieren, ohne auf externe Tools oder zusätzliche Management-Controller angewiesen zu sein.

Bildergalerie

Die Oxide-Plattform ist mit gängigen Open-Source-Tools und -Frameworks wie „Suse Rancher“, „Red Hat Openshift“, „Kubernetes“ und „Terraform“ kompatibel. Diese Integration ermöglicht effizientes Management von Kubernetes-Nodes und Workloads, ist aber eine Option für Anwender und nicht die Grundlage der Oxide-eigenen Management-Software. So bringt Oxide Hyperkonvergenz im Rack-Maßstab in eine beliebige Bereitstellung On-Premise — in nur zwei Stunden Installationszeit.

Problemfeld Stromqualität

Eines der größten Herausforderungen für Switch Data Centers war die Stromqualität, erinnert Syed. In einem gewöhnlichen Rechenzentrum würde man Dreiphasen-Wechselstrom an das Rack bringen und dann NEMA-Kabel daran anschließen, die in das Rack führen. Oft entstünde so aber ein Ungleichgewicht zwischen den Phasen. Man müsse den Leuten ausdrücklich sagen: „Bitte sorgt für eine saubere Lastverteilung.“ Sonst würden die drei Phasen aus dem Gleichgewicht geraten. Zwei übernehmen den Großteil der Last, eine hinkt hinterher – und die Stromqualität leidet.

„Im Betrieb mussten wir das ständig kompensieren“, enthüllt Syed. „Wenn ich ein Megawatt Rechenleistung brauche, muss ich 1,1 Megawatt bereitstellen – nur um die Verluste durch Phasenungleichgewicht auszugleichen“.

Das Oxide-Rack umgeht das Phasenungleichgewicht durch eine grundlegend andere Stromarchitektur: zentrale DC-Versorgung, automatische Phasenbalance und Elimination dezentraler AC-Wandler. Die Stromversorgung erfolgt über ein universelles Power Shelf am Rack-Boden (siehe: Bildergalerie), das AC-Strom einmalig in DC umwandelt.

Statt dreiphasige Wechselstromkabel zu den Geräten zu führen, versorgt die DC-Busbar (Stromschiene) alle Server-Sleds und Switches direkt mit 48 V DC. Dies eliminiert so um die 70 individuellen AC/DC-Wandler pro Rack, die in herkömmlichen Systemen für Server, Switches und PDUs zum Einsatz kommen.

Harmonische Störungen existieren in diesem Design nicht. Das Power Shelf balanciert die Gesamtlast des Racks automatisch über alle drei Phasen, ohne manuelle Lastverteilung. Die Control-Plane überwacht den Stromverbrauch des gesamten Racks und passt die Lastverteilung dynamisch an. Durch Hardware-Software-Co-Design kann Oxide Workloads sogar phasenübergreifend verschieben, um Engpässe zu vermeiden.

(ID:50449577)