Mobile-Menu

Auf Draht Scale-up und Scale-out verändern die Netzwerkinfrastruktur für KI-Cluster

Von CTO und CISO Anna Kobylinska und Filipe Pereira Martins 8 min Lesedauer

Anbieter zum Thema

Amazon Web Services EMEA SARL,
Google Germany GmbH
ORACLE Deutschland B.V. & Co. KG
Microsoft Deutschland GmbH
Hewlett-Packard Enterprise
mehr weniger
Company-Flyout
NVIDIA
Vertiv GmbH
weniger

Der Siegeszug von Künstlicher Intelligenz (KI) und HPC-nahen Trainingsumgebungen verändert die Netzwerkinfrastruktur in Rechenzentren grundlegend. GPU-Leistung allein reicht nicht mehr aus. Entscheidend ist, wie effizient Interconnects Beschleuniger, Racks und Cluster miteinander verbinden.

KI-Cluster benötigen leistungsfähige Interconnects, damit tausende GPUs mit geringer Latenz und hoher Bandbreite zusammenarbeiten können.(Bild: Midjourney / Paula Breukel / KI-generiert)
KI-Cluster benötigen leistungsfähige Interconnects, damit tausende GPUs mit geringer Latenz und hoher Bandbreite zusammenarbeiten können.
(Bild: Midjourney / Paula Breukel / KI-generiert)

KI-Arbeitslasten verschieben Netzanforderungen weg von klassisch „serverzentrierten“ Designs hin zu hochgradig Ost-West-lastigen, GPU-dominierten Fabrics mit 800G/1,6T Optik und dichter Glasfaserinfrastruktur.

Bildergalerie
Bildergalerie mit 5 Bildern

Ihr eigenständiges Kommunikationsprofil verschiebt die Anforderungen an Bandbreite, Latenz und Skalierbarkeit der Konnektivität. Die Rechenleistung allein ist nicht mehr der limitierende Faktor für die Systemperformance.

Anders als bei klassischen Enterprise-Workloads dominieren hier vor allem:

  • Ost-West-Verkehr zwischen GPU-beschleunigten Rechenknoten;
  • erhebliche Synchronisationslasten bei verteiltem Training und
  • extrem latenzkritische All-to-All-Kommunikation, etwa bei großen Transformer-Modellen.

Ob Scale-out-Architekturen ihr Potenzial ausschöpfen, entscheiden in hohem Maß das zugrunde liegende Fabric und der gewählte Interconnect.

Zu den großen Trends zählen 800G und perspektivisch 1,6T /3,2 T Optik als neue Basistechnologien für AI-Fabrics, GPU-zentrische Netzarchitekturen und Rack-Scale-GPU-Fabrics statt klassischer 3-Tier-Netze, hochdichte Glasfaserinfrastruktur im Rack und zwischen Racks sowie zunehmend eng vernetzte Metro- und Long-Haul-DCI-Strukturen, die mehrere KI-Rechenzentren zu einem verteilten Verbund zusammenschließen.

Schon souverän angebunden?

Moderne Rechenzentrums-Workloads spannen sich heute über mehrere Konnektivitätsklassen.

Auf der einen Seite stehen Scale-up-Interconnects wie Nvidia „NVLink“ oder „UALink“. Diese verschmelzen eng gekoppelte GPU-Domains innerhalb eines Racks quasi zu einer „einzigen großen GPU“. Auf der anderen Seite lassen sich tausende GPUs und Rechenknoten über Scale-out-Fabrics wie Nvidia „Quantum-InfiniBand“, HPE „Slingshot“ oder „RoCE“-basierte Hyperscaler-Fabrics zu verteilten AI-Clustern und Supercomputern zusammenschalten.

Parallel dazu drängt eine neue Generation explizit KI-optimierter Ethernet-Fabrics auf den Markt – von Nvidia „Spectrum-X“, über Broadcoms „Tomahawk-Ultra-basierte AI-Ethernet“-Plattform bis hin zum offenen „UEC-1.0“-Standard. Diese Lösungen bündeln Technologien wie RDMA mit Ansätzen wie In-Network-Collectives und verlustarmen Transportmechanismen auf Ethernet-Basis.

UALink 1.0 markiert 2026 die erste ernsthafte Standardisierung eines offenen Scale‑up‑Interconnects im Accelerator‑Pod: 200G pro Lane und bis zu 1.024 Accelerators pro AI Computing Pod – weniger als Ersatz für NVLink, mehr als Indikator, dass auch die engste Kopplungsebene zur Beschaffungs- und Souveränitätsfrage wird.

Cloud-spezifische Netzwerk-Stacks wie „AWS Elastic Fabric Adapter“, Googles „Jupiter“-/„RoCE“-Architektur oder die „RDMA“-Fabrics von Azure und OCI verpacken diese Technologien in gemanagte Services – mit „InfiniBand“ oder „RoCE“ als unsichtbarem Rückgrat vieler KI-Clouds.

In Europa werden EuroHPC-Exascale-Systeme wie „Jupiter“ in Jülich zu Schaufenstern dafür, wie sich diese überwiegend US-getriebenen Technologien in einen europäischen, souverän ausgerichteten Infrastrukturkontext einbetten lassen.

EuroHPC/Jupiter ist der stärkste deutsche (und auch europäische) Souveränitätsanker für diese neue Infrastrukturklasse.

Ein Interconnect für den KI-Stack

Darüber, wie weit sich KI-Cluster tatsächlich skalieren lassen, entscheidet heute maßgeblich der Interconnect. Das KI-Spezifische daran ist der architektonisch etablierte Split zwischen Scale-up-GPU-Interconnect (im Rack oder Node) und Scale-out-Fabric (zwischen Racks oder Pods) – und wie stark KI-Workloads diese Hierarchie ausreizen.

Intra-Node-/Rack-Interconnects wie „NVLink“/„NVSwitch“ oder „UALink“ liefern heute Bandbreiten im Bereich von bis zu rund 3,6 TB/s bidirektionaler Bandbreite pro GPU (NVLink 6) in angekündigten Vera-Rubin-/Rubin-Systemen und aggregierten Rack-Bandbreiten von deutlich über 100 TB/s in aktuellen Rack-Scale-Konfigurationen (Blackwell: 130 TB/s), und bilden damit ein extrem schnelles Scale-up-Fabric innerhalb einer GPU-Domäne.

Dem gegenüber stehen Scale-out-Fabrics (InfiniBand, AI-Ethernet, AI-Ethernet-Fabrics nach Standards des „Ultra Ethernet Consortium“ (UEC), RoCE, die typischerweise nur einige hundert Gbit/s pro Link bereitstellen und damit die langsamere, aber deutlich größere Ebene bilden – genau diese Kluft zwischen Scale-up- und Scale-out-Interconnect wird in aktuellen Analysen als wesentlicher Engpass für GPU-Auslastung identifiziert.

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu RZ- und Server-Technik

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Klassische Enterprise-Workloads nutzen den Interconnect meist am Rand (North-South-Traffic, moderate Ost-West-Last); KI-Training dagegen behandelt den GPU-Interconnect als zentrale Infrastruktur für „AllReduce“, All-to-All sowie Pipeline- und Tensor-Parallel-Patterns.

Frontier-KI-Cluster werden heute so dimensioniert, dass NVLink- oder UALink-Pods intern nahezu jeden Knoten mit jedem anderen verbinden und so Bandbreiten im Terabyte-pro-Sekunde-Bereich bei sehr niedrigen Latenzen erreichen. Der Interconnect nach außen über InfiniBand oder AI-Ethernet fungiert dagegen als Engpass. Viele aktuelle Studien sehen genau diese Interconnect-Gap, bei der die Bandbreite auf der Scale-out-Ebene teilweise um eine Größenordnung oder mehr geringer ausfällt, als wesentlichen Limitierer der GPU-Auslastung und damit der Wirtschaftlichkeit moderner KI-Cluster.

Am deutlichsten wird diese Entwicklung an Systemen wie „Nvidia GB300 NVL72“ und der angekündigten „Vera Rubin NVL72“-Generation. Nvidia beschreibt NVL72 als Rack-Scale-Architektur mit 72 GPUs, die über ein NVLink-Switch-System zu einer einzigen, eng gekoppelten GPU-Domäne zusammengeschaltet werden.

In Blackwell-basierten NVL72-Systemen stellt die sechste NVLink-Generation laut Nvidia eine aggregierte GPU-zu-GPU-Kommunikationsbandbreite von deutlich über 100 TB/s; konkret nennt Nvidia für GB300 NVL72 130 TB/s NVLink-Bandbreite pro Rack. Die Scale-out-Fabric mit InfiniBand/AI-Ethernet liefert zusätzlich bis zu 800 Gb/s Cross-Rack-Bandbreite pro GPU in produktiven Clustern wie dem von Microsoft Azure beschriebenen GB300-NVL72-System.

Mit der Rubin-/Vera-Rubin-Plattform geht Nvidia noch einen Schritt weiter: NVLink 6 verdoppelt die per-GPU-Scale-up-Bandbreite auf bis zu 3,6 TB/s bidirektional und ermöglicht eine uniforme All-to-All-Konnektivität über 72 GPUs; NVIDIA nennt dafür eine aggregierte Scale-up-Bandbreite von bis zu rund 260 TB/s pro Vera-Rubin-NVL72-Rack.

Auf der Scale-out-Ebene steht in der „Blackwell-Ultra-Generation Quantum‑X800 InfiniBand“ für die 800‑Gb/s‑Klasse: Der „Quantum‑X800-Switch“ stellt 144 Ports mit jeweils 800 Gb/s zur Verfügung und bietet „Sharp v4“ für In-Network-Kollektive, Adaptive Routing, Telemetry-basierte Congestion Control, Performance Isolation sowie einen dedizierten Port für den „Unified Fabric Manager“ (UFM).

Der Praxisbeleg kommt aus Azure: Microsoft beschreibt einen GB300‑NVL72‑Cluster mit mehr als 4.600 Blackwell-Ultra-GPUs und einer Scale‑out‑Architektur auf Quantum‑X800‑InfiniBand, in der NVLink die 72‑GPU‑Rack‑Domäne bildet und Quantum‑X800 die Racks verbindet. Im Rack stellt die NVLink‑Fabric die 72‑GPU‑Domäne bereit; zwischen den Racks übernimmt Quantum‑X800 das Scale‑out. Genau dieses Zwei-Ebenen-Muster setzt sich ab 2025/2026 als Referenzarchitektur großer KI-Systeme durch.

Für Betreiber ist die Botschaft klar: Scale‑out ist keine nachträgliche Erweiterung, sondern Teil der Architekturphase. Die Fabric entscheidet, wie groß ein Job werden darf, wie viel GPU‑Zeit in Synchronisation verloren geht und wie stabil mehrere Nutzergruppen und Workload‑Klassen parallel laufen.

Ein solcher Rack ist kein austauschbarer Block mehr, der nur Strom, Kühlung und ein paar Uplinks benötigt. Er wird selbst zum Rechenverbund mit eigener Kopplungsschicht, enger Korrelation zwischen Strompfaden, Kühlwasser, Gewicht, Servicezugang, Inbetriebnahme, Ersatzteilstrategie und Netzplanung.

Wer KI-Racks dieser Klasse plant, sollte daher nicht nur Kilowatt pro Rack zählen, sondern in Kommunikationsräumen denken und sich entsprechende Fragen stellen. Zum Beispiel: Welche Workloads profitieren von einer 72-GPU-NVLink-Domäne? Welche Teile des Modells müssen innerhalb dieser Domäne bleiben? Welche Kommunikation darf auf den übergeordneten InfiniBand- oder AI-Ethernet-Fabric ausgelagert werden?

Der Unterschied zwischen „einer Handvoll von GPUs im Server“ und einer voll ausgebauten Rack-Scale-NVLink-Domäne ist architektonisch erheblich. Dieser Unterschied bestimmt, wie eng Compute, Fabric, Energie und Kühlung zusammengedacht werden müssen.

Von 400G zu 800G und… 3,2 Tbit/s

Während 400G-Ethernet noch vor wenigen Jahren als zukunftssicher galt, treiben aktuelle KI-Workloads bereits den Übergang zu 800G und perspektivisch 1,6T-Ethernet voran – also zu Linkgeschwindigkeiten von bis zu 1,6 Tbit/s pro Port. Glasfaser‑Spezialisten berichten, dass KI‑Infrastruktur heute typischerweise Bandbreiten von mindestens 800G pro Verbindung und hochdichte MPO‑Strukturen mit bis zu 96 Fasern pro Höheneinheit benötigt.

800G‑Transceiver‑Module entwickeln sich 2026 zum Standard in KI‑Rechenzentren. TrendForce erwartet einen Anteil von rund 60 Prozent aller ausgelieferten Module in KI‑DCs. 1,6T‑Module dürften Prognosen zufolge zwischen 2026 und 2028 in KI‑Deployments anlaufen.

Im Zentrum dieser Entwicklung stehen heute produktiv etablierte 100G-/112G-„SerDes“-Generationen pro Lane und perspektivisch 224G-SerDes als nächste Ausbaustufe auf Basis von „PAM4“-Modulation. Die Verdopplung der Lane‑Geschwindigkeit von 112G auf 224G erhöht die Portdichte und die effektive Bisection‑Bandbreite pro Switch‑Stufe und wird damit zur entscheidenden Voraussetzung für die Skalierung moderner GPU‑Cluster.

400G‑Ethernet basiert typischerweise auf 8 Lanes mit jeweils 50 Gbit/s (PAM4) oder 4 Lanes mit jeweils 100 Gbit/s, je nach Formfaktor und Generation. Das mag für viele klassische Anwendungen ausreichend sein, stößt jedoch in großskaligen KI‑Clustern mit hohem Ost‑West‑Verkehr und kollektiven Kommunikationsmustern zunehmend an Grenzen.

800G (zum Beispiel 800G-Ethernet oder die nächste 800G-InfiniBand-Generation) verdoppelt die pro-Link-Bandbreite und erlaubt wahlweise mehr Bandbreite pro GPU oder eine höhere Portdichte beziehungsweise Bisection-Bandbreite pro Switch-Stage. Aktuelle 800G‑Implementierungen nutzen in der Regel 8 Lanes mit je 100G PAM4 beziehungsweise 112G‑SerDes‑Klasse.

Mit 1,6 Tbit/s rücken schließlich Topologien in Reichweite, in denen einzelne Spine- oder Core-Switches ganze GPU-Rails oder Pods mit ausreichender All-to-All-Bandbreite anbinden können – ein zentraler Hebel, um die „Bandwidth Wall“ in AI-Fabrics weiter nach hinten zu verschieben. 1,6T‑Ports setzen dabei auf 8 Lanes mit rund 224G PAM4, was bei unverändertem Lane‑Count die Portbandbreite gegenüber 800G erneut verdoppelt.

Für KI‑Rechenzentren in Deutschland werden in Pilotprojekten Übertragungsraten von bis zu 3,2 Tbit/s pro optischer Verbindung beziehungsweise Kanalgruppe erprobt.

Auf der SerDes‑Ebne spiegelt sich diese Entwicklung direkt wider: Während NVLink/UALink innerhalb der Rack‑Domäne bereits TB/s‑Bandbreiten liefern, müssen InfiniBand‑ und AI‑Ethernet‑Fabrics mit 400G‑, 800G‑ und künftig 1,6T‑Links Schritt halten – getrieben von jeweils schnelleren 100G‑/112G‑ und perspektivisch 224G‑SerDes‑Generationen pro Lane.

Fazit

Wer die KI‑Konnektivität früh in der Planung der Arbeitslasten mitdenkt, verhindert Engpässe, steigert die Rechenleistung pro Rack – und senkt am Ende die Kosten pro Trainings‑ oder Inferenzlauf.

*Das Autorenduo

Das Autorenduo besteht aus Anna Kobylinska und Filipe Pereira Martins. Die beiden arbeiten für McKinley Denali, Inc., USA.

Ihr Fazit lautet: KI‑Rechenleistung orientiert sich nicht mehr primär an der Nachfrage, sondern rückt den Energieflüssen entgegen. Mit der nächsten Ausbaustufe von KI‑Rechenzentren entsteht ein neues Koordinatensystem für die Standortwahl. Kundennähe, Internet‑Knotenpunkte oder gewachsene Campus‑Strukturen bleiben relevant, doch entscheidend sind inzwischen vor allem verfügbare elektrische Leistung, realistische Netzausbau‑Perspektiven, Anbindung an Abwärmenetze und Glasfasertrassen – inklusive der notwendigen Genehmigungen.

Inwiefern Betreiber der Nachfrage folgen können, den Energieflüssen entgegeneifern oder mit angezogener Handbremse rechnen müssen, entscheidet im Kern die Interkonnektivität: Optische Hochleistungsverbindungen, moderne Fasertechnologien und belastbare Telemetrie erschließen neue Kapazitäten.

Datacenter‑Interconnect ist dabei das Rückgrat der KI‑Fabrik; es entkoppelt den Ort der Rechenleistung von den klassischen Wachstumsbremsen Strom, Kühlung und Fläche. Wer auf leistungsfähige Glasfaser setzt, kann KI‑Workloads dorthin verschieben, wo Energiekapazitäten, Klimabedingungen und Flächen tatsächlich vorhanden und bezahlbar sind.

Artikelfiles und Artikellinks

(ID:50895166)

Weiterführende Inhalte