Mobile-Menu

Neue Architektur für Datacenter-Netzwerke Flache Netzwerke lösen das Fat-Tree-Problem in Rechenzentren

Ein Gastbeitrag von Giacomo Bernardi* 4 min Lesedauer

Anbieter zum Thema

Amazon Web Services EMEA SARL,
VON ZUR MÜHLEN'SCHE GmbH

Jahrzehntelang galt der Fat-Tree als Standard für Rechenzentrumsnetzwerke. AWS setzt nun auf eine deutlich flachere Architektur, die mit weniger Routern auskommt und mehr Durchsatz bieten soll.

Close-up eines RNG-Racks: AWS ersetzt die klassische Fat-Tree-Architektur zunehmend durch Resilient Network Graphs. Was dahinter steckt.(Bild: AWS)
Close-up eines RNG-Racks: AWS ersetzt die klassische Fat-Tree-Architektur zunehmend durch Resilient Network Graphs. Was dahinter steckt.
(Bild: AWS)

Rechenzentren wachsen schneller als je zuvor, doch die zugrunde liegende Netzwerkarchitektur hat sich seit Jahrzehnten kaum verändert. Auslöser für die Entwicklung einer neuen Lösung war 2023 ein Hinweis auf Slack. Netzwerkexperte Ratul Mahajan (AWS) suchte jemanden mit Kenntnissen in Graphentheorie. Ihm antwortete Mathematikprofessor Seshadhri Comandur. Daraus entstand ein Projekt, das die Netzwerkarchitektur von Rechenzentren grundlegend verändert: Resilient Network Graphs (RNG).

Rechenzentren übertragen täglich enorme Datenmengen zwischen zahlreichen Servern. Standardarchitektur dafür ist der sogenannte Fat-Tree, der einem Organigramm ähnelt. Router sind dabei in hierarchischen Ebenen angeordnet, jeder Router verfügt über eine feste Anzahl an Ports, von denen ein Teil für Serververbindungen reserviert ist. Datenpakete müssen die Hierarchie aufsteigen bis sie den Zielrouter erreichen, und werden danach wieder nach unten geleitet.

Die Grenzen der klassischen Fat-Tree-Architektur

Diese Struktur lässt sich einfach umsetzen, hat aber handfeste Nachteile. Zusätzliche Router-Ebenen erzeugen beispielsweise Overhead. Viele Verbindungen laufen über wenige zentrale Knoten, daher kann der Ausfall eines einzelnen Routers ganze Netzbereiche lahmlegen. Dass eine flache Architektur die bessere Alternative ist, ist in der Forschung seit den frühen 1990er Jahren bekannt.

Verbinden sich Router direkt und nach dem Zufallsprinzip miteinander, entstehen deutlich mehr unabhängige Pfade zwischen allen Routerpaaren. Fällt in einem solchen Netzwerk ein Prozent der Router aus, geht auch nur etwa ein Prozent der Kapazität verloren. Der Verlust bleibt proportional, statt sich an einzelnen Punkten zu konzentrieren.

Die Umsetzung im echten Rechenzentrum scheiterte trotzdem. Zufällig verkabelte Router erzeugen ein unüberschaubares Kabelchaos, und die Berechnung optimaler Pfade durch ein zufälliges Netzwerk überfordert handelsübliche Router bei weitem.

Nach Angaben der beteiligten Wissenschaftler benötigen Standardansätze für Multipath-Routing in flachen Topologien 20- bis 80-mal mehr Arbeitsspeicher, als in gängiger Hardware verbaut ist. Hinzu kommt ein drittes Problem, denn ohne verlässliche mathematische Modelle lässt sich vorab nicht belegen, ob ein solches Netzwerk die geforderte Kapazität überhaupt erreicht. Die Idee blieb deshalb über Jahrzehnte reine Theorie.

Von der Theorie zur produktiven Architektur

AWS hat diese drei Probleme mit einem Ansatz gelöst, den das Team Resilient Network Graphs nennt. Kern ist eine quasi-zufällige Topologie. Die Idee ist ein kalkulierter Kompromiss, der weder vollständig zufällig noch hierarchisch ist, aber die mathematischen Vorteile zufälliger Netzwerke liefert und trotzdem in der Praxis handhabbar bleibt. Zwei Neuentwicklungen machen das möglich: die „ShuffleBox“ und das Routing-Protokoll Spraypoint.

Die ShuffleBox ist ein rein optisches Element ohne eigenen Stromanschluss. Zwischen den Servern und den Leitungen zu anderen ShuffleBoxen platziert, verbindet sie die Kabel intern nach einem festen Muster, das die Wissenschaftler zuvor mathematisch berechnet haben.

Genau dieses Muster macht den Unterschied. Erst durch das feste interne Schema ergeben die Verbindungen zwischen vielen ShuffleBoxen jene quasi-zufällige Topologie. Wie dieses Muster aussehen musste, war lange unklar, bis Comandur eine entscheidende Gleichung lieferte.

Es sollten per Simulation acht Zahlen ermittelt werden, die diese Gleichung erfüllen. Aus den gefundenen Werten entstand die Bauanleitung, nach der heute jede ShuffleBox weltweit gefertigt wird.

Für das Routing-Problem hat das Team das Protokoll Spraypoint entwickelt. Der Quellrouter schickt hierbei den Datenverkehr zunächst zufällig an alle benachbarten Router. Anschließend übernimmt ein klassischer Shortest-Path-Algorithmus die Pakete und leitet sie zu festgelegten Waypoint-Routern weiter.

Diese Waypoint-Router bilden um jeden Zielrouter einen inneren und einen äußeren Ring, und der Verkehr bewegt sich von Ring zu Ring, bis er sein Ziel erreicht. So entstehen fast doppelt so viele unabhängige Pfade wie beim klassischen Shortest-Path-Routing. Das verringert Staus im Netzwerk und sorgt dafür, dass der Ausfall einzelner Router deutlich weniger ins Gewicht fällt.

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu RZ- und Server-Technik

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Mehr zum Thema: ShuffleBox und Spraypoint im Überblick

ShuffleBox

  • Passives optisches Bauteil ohne eigene Stromversorgung;
  • Feste, mathematisch berechnete interne Verkabelung erzeugt eine quasi-zufällige Topologie;
  • Neue Racks werden einfach in freie Ports gesteckt, eine Neuverkabelung entfällt.

Spraypoint

  • Zweistufiges Routing-Protokoll: Zufällige Auswahl von Nachbarroutern, danach gezielte Weiterleitung über Waypoint-Router;
  • Arbeitet mit inneren und äußeren Ringen um jeden Zielrouter;
  • Nutzt die zahlreichen unabhängigen Pfade in quasi-zufälligen Graphen effizient aus.

Weniger Hardware, mehr Durchsatz

Bevor RNG produktiv gehen konnte, musste das Team beweisen, dass die Modelle auch in der Praxis halten. Zur Validierung der mathematischen Modelle für Pfadlängen, Routenzahl und Verkehrsverteilung nutzte das Team rund 530 Prozessorjahre Simulation auf Amazon „EC2“, umgerechnet der Betrieb eines einzelnen Prozessors über ein halbes Jahrtausend. Für den finalen Praxistest vor dem ersten Produktiveinsatz verkabelte das Team ein Rechenzentrum in Irland von Hand und ohne ShuffleBoxen, also genau in jenem Kabelgewirr, das die ShuffleBox eigentlich vermeiden soll. Das Ergebnis bestätigte die Modelle exakt.

Über den Autor:
Giacomo Bernardi ist Senior Principal Engineer bei AWS.

Sein Fazit lautet: „Die Resultate aus dem produktiven Betrieb sind messbar. RNG kommt mit 69 Prozent weniger Routern aus als ein vergleichbares Fat-Tree-Netzwerk.
Das senkt Hardwarekosten, Kühlaufwand und operativen Aufwand an jedem Standort direkt. Der Datendurchsatz steigt um bis zu 33 Prozent gegenüber der bisherigen Architektur.
Beim Stromverbrauch der Netzwerkgeräte rechnet AWS mit einer Reduktion von rund 40 Prozent, was sich entsprechend auf die CO2-Bilanz an den jeweiligen Standorten auswirkt.

Bildquelle: AWS

Hier setzt AWS RNG bereits ein:

Das erste Produktivrechenzentrum auf Basis von RNG ging Ende 2024 in Irland ans Netz. 2025 folgte der Rollout in Spanien und Deutschland, seit April 2026 ist die Architektur Standard für den Großteil der neu gebauten AWS-Rechenzentren weltweit. Für Kunden bedeutet das eine robustere Infrastruktur hinter jedem API-Aufruf, jeder Datenbankabfrage und jedem Trainingslauf für Machine-Learning-Modelle, ohne dass eine einzige Zeile Code angepasst werden muss.

(ID:50949920)

Weiterführende Inhalte