Vom KI-Einzelstandort zum AI-Verbund Wenn Strom knapp wird, zählt die Bandbreite

Deutschland baut KI‑Kapazitäten auf, aber Hochleistungsstrom, Kühlung und Fläche wachsen nicht im gleichen Tempo mit. Leistungsfähige KI‑Cluster entstehen deshalb zunehmend im Verbund, als eine KI-Domäne. Der Flaschenhals verschiebt sich damit vom reinen Compute auf Bandbreite, optische Dichte und operative Beherrschbarkeit.

Die Bereitstellung von Rechenleistung für KI ist weniger ein Compute‑ als ein Energieproblem, glaubt Christian Uremovic, Marketing Director bei Nokia. Er sieht eine klare Marktverschiebung: Betreiber erweitern ihre KI‑Cluster über Backend‑Verbindungen zunehmend auf Nachbar‑ und Fernstandorte, teils sogar in andere Netzgebiete hinein.

Bekommt ein einzelner Standort nicht genügend Anschlussleistung, Kühlkapazität oder Ausbaufläche, wird der Rechenzentrumsverbund zur Option. Netzgekoppelte Rechenzentren bündeln getrennte Anschlussleistungen zu einem gemeinsamen KI‑Cluster, um die Energie als IT‑Kapazität nutzbar zu machen, sofern die Anbindung in Sachen deterministische Bandbreite und niedrige Latenz mitspielt.

Mit dieser Transformation verschiebt sich der Fokus der RZ‑Architektur: Mehrstandortkonzepte, die früher vor allem Resilienz sichern sollten, werden zum aktiven Kapazitätspool für Trainings‑ und Inferenzjobs, die standortübergreifend ablaufen. Die größte Dynamik liegt dort, wo KI‑Backends auf kurzen bis mittleren Distanzen „scale‑out“ fahren und Campus‑, Stadt‑ oder Metro‑Cluster zu einer hochverdichteten KI‑Zone zusammenwachsen, während eng synchronisiertes Training über sehr große Entfernungen vorerst Spezialfall bleibt.

Expectedit-Lpool-Technik kann Milliarden sparen

Effiziente KI im Rack-Maßstab geht über den Einsatz von GPUs hinaus

Jenseits von Containern und VMs

Der Aufstieg der KI-nativen Cloud

Im Rückgrat dieser KI‑Zonen entsteht eine neue Generation von Datacenter‑Interconnect: hochdichte Dark‑Fiber‑Strecken, 400G/800G‑Wellen und perspektivisch 1,6T‑Links, die speziell für GPU‑Traffic mit großen, oft burstigen Strömen dimensioniert sind. Parallel setzt sich IP‑over‑DWDM durch: Coherent‑Pluggables (400G/800G‑ZR/ZR+) terminieren Wellenlängen direkt im Router, Transponder‑ und OTN‑Layer verschwinden – Latenz, Energiebedarf und Rack‑Footprint sinken, während Planungs‑ und Telemetrieanforderungen massiv steigen.

Netzwerk ohne Hitzestau

Der Countdown zu 800G

Nvidia findet in Tower Semiconductors einen Silicon-Optics-Partner

Eine KI-Infrastruktur mit 1,6-T-Datacenter-Optikmodulen

Je größer die GPU‑Domäne, desto stärker definiert das Netz die tatsächlich abrufbare KI‑Leistung. Zu den Schlüsselfaktoren zählen eine nahezu verlustfreie Bisection‑Bandwidth und Fabrics mit kurzen, vorhersagbaren Pfaden, intelligenter Congestion‑Control und Transport‑Protokollen, die GPU‑Kommunikationsmuster wie All‑to‑All, All‑Reduce und Mixture‑of‑Experts effizient tragen.

Das Meistern von Latenzen im Rechenzentrum

Ethernet schließt locker die Lücke zu Infiniband

Die Ära der 1000 Fasern

Rechenzentrumsnetze stehen vor der nächsten Dichtestufe

Entsprechend konzentriert sich die Cutting‑Edge‑Entwicklung auf Backend‑Fabrics: extrem skalierte Infiniband‑Domänen auf der einen, hoch optimiertes Ethernet mit RDMA‑Verfahren wie RoCE, Telemetrie in Echtzeit und automatisiertem Traffic‑Engineering auf der anderen Seite. Betreiber haben jetzt wieder die Qual der Wahl.

Das Umschiffen von Engpässen

Aus Sicht der Betreiber, je nachdem, ob Faser, Energie oder operative Komplexität den größten Engpass bilden, kristallisieren sich drei technische Pfade für die Kopplung von Rechenzentren heraus. An einem Ende steht die hochoptimierte Architektur mit dedizierten Transpondern: „graue“ Client‑Ports werden an kohärente Line‑Module übergeben, die das gesamte C‑ und L‑Band ausnutzen und pro Faser eine extrem hohe Spektrumsdichte bereitstellen – ideal, wenn Fasern der knappste Rohstoff sind.

Auf der anderen Seite etabliert sich IP‑over‑DWDM als energie‑ und platzsparende Variante: Coherent‑Optiken stecken direkt im Router, Transponder‑Shelves entfallen, Management und Fehlersuche rücken näher an die IP‑Schicht. Dieser Ansatz spielt seine Stärken dort aus, wo ausreichend Fasern verfügbar sind, aber Strombudget und Rack‑Footprint hart limitiert sind.

Dazwischen entsteht ein Hybridansatz mit „thin transpondern“, der IP‑ und optische Ebene entkoppelt, aber deutlich dichter und Energie-effizienter arbeitet als klassische Systeme. Er verschafft Betreibern zusätzliche Freiheitsgrade bei Design und Evolution der optischen Schicht, zum Beispiel etwa wenn ein KI‑Verbund später skaliert oder in neue Richtungen erweitert werden soll.

Nicht mehr rein „symbolisch“

Die klassische Antwort auf steigende Bandbreitenanforderungen lautete lange: mehr Bits pro Symbol, also: höhere Modulationsordnungen von QPSK über 16‑QAM bis hin zu 64‑QAM und darüber hinaus. In vielen Netzen stoßen diese Verfahren heute aber an physikalische und wirtschaftliche Grenzen: 128‑ oder 256‑QAM würden zwar nochmals mehr Bits pro Symbol liefern, erfordern aber derart hohe Signal‑zu‑Rausch‑Reserven, dass Reichweite und Energie-Effizienz in typischen Langstrecken‑ und Backbone‑Szenarien massiv leiden.

Parallel dazu wurde das nutzbare optische Spektrum vom klassischen C‑Band über Extended‑C‑ bis hin zu „Super‑C“ und ergänzendem L‑Band erweitert; in Spezialfällen kommen Super‑L‑Bänder zum Einsatz, wenn Faserverfügbarkeit das eigentliche Nadelöhr ist.

Für den Massenmarkt zeichnet sich jedoch ein anderes Muster ab: Mehr Kapazität entsteht vor allem dadurch, dass zusätzliche Fasern „angeleuchtet“ werden. Da sich die Bits‑pro‑Faser nur noch begrenzt steigern lassen, verlagert sich das Wachstum auf mehr optische Line‑Systeme, mehr Verstärker und eine höhere Dichte an optischen Engines; die Dimensionierung von Fasertrassen und Verstärkerstandorten wird zur strategischen Weichenstellung – gerade in Europa mit zeitaufwändigem Trassenbau, Wegerechten und Genehmigungen.

Bildergalerie

Bildergalerie mit 8 Bildern

Die nächste Effizienzstufe kommt nicht nur über bessere DSPs und Module, sondern über kompaktere Line‑Designs: integrierte C‑/L‑Band‑Verstärkerketten auf einzelnen Karten, Multi‑Rail‑Verstärker sowie Module, die Client‑Signale direkt in kohärente Wellen umsetzen, ohne mehrere Lagen grauer Optiken. Für Betreiber, die Hunderte oder Tausende Fasern zwischen Standorten beleuchten, wird diese Verdichtung zum spürbaren Kosten‑ und Energiefaktor.

Vor dem Hintergrund steigender Gesamtlast hat sich die Energie-Effizienz optischer Systeme trotzdem massiv verbessert: Um die Jahrtausendwende brauchten rund 800 Gbit/s auf Glas noch mehrere Racks mit insgesamt etwa 15 Watt pro Gigabit, zehn Jahre später lag der Wert bei etwa 4 Watt pro Gigabit.

Der Energiebedarf pro transportiertem Bit ist damit um den Faktor 100 gefallen. Wie weit diese Entwicklung in realen Netzen bereits getrieben wurde, zeigt ein Blick auf aktuelle Ausbauprojekte jenseits der sprichwörtlichen „Route 66“.

Jenseits der „Route 66”

Verteilte KI‑Infrastrukturen ersetzen die monolithische Datenautobahn durch hochdichte Glasfaser‑Fabrics, die viele Standorte über Petabit‑Datacenter‑Interconnects zusammenschalten. In diesen Verbünden werden Bandbreiten angefragt, die in der Branche vor wenigen Jahren noch unvorstellbar waren.

Wie groß die Anforderungen werden, lässt sich an einzelnen Praxisbeispielen ablesen. Betreiber, die KI‑Cluster über mehrere Standorte hinweg koppeln, arbeiten heute bereits mit Verbindungen, in denen 66 Faserpaare im C‑ und L‑Band „beleuchtet“ werden. Das entspricht im Ergebnis einer Netto‑Kapazität im Petabit‑Bereich. Solche Verbindungen werden zunehmend zum Maßstab für großskalige KI‑Infrastrukturen.

In einigen Projekten reden Betreiber bereits davon, dass Long‑Haul‑Kabel nicht mehr mit 192, sondern mit 6.000 Fasern erstellt werden, weil immer mehr Faserpaare für KI‑Backends benötigt werden. In realen Produkten großer Hersteller tauchen neue, hochverdichtete optische Lösungen auf. Line‑Systeme verstärken das komplette C‑ und L‑Band auf einer kompakten Karte und bündeln Wellenlängen auf engem Raum mit dem Ziel, Metro‑, Long‑Haul‑ und DCI‑Strecken in einem einzigen Plattformbaukasten abzudecken.

Bildergalerie

Bildergalerie mit 8 Bildern

Ein Beispiel dafür ist das „6500 Reconfigurable Line System“ (RLS) von Ciena: Es bietet integrierte C‑/L‑Band‑Verstärker, mit denen sich zunächst das C‑Band in Betrieb nehmen und später durch Aktivierung des L‑Band‑Pfads die Kapazität pro Faser nahezu verdoppeln lässt. ROADM‑Module, Verstärker und optisches Monitoring sitzen in diesem System dicht gepackt in wenigen Höheneinheiten, so dass ein einzelnes Shelf als skalierbarer Knoten für Metro‑ und Backbone‑Netze dienen kann.

Einen ähnlichen Ansatz verfolgt Adtran/ADVA mit der „FSP‑3000“‑Plattform. Hier kommen steckbare EDFA‑Karten zum Einsatz, die jeweils das komplette C‑ oder L‑Band verstärken und als Booster‑, In‑Line‑ oder Pre‑Amp in das offene Line‑System eingebaut werden. Pro Chassis können so bis zu 96 Wellen im C‑Band und zusätzliche Wellen im L‑Band geführt werden, ergänzt durch DWDM‑Mux/De‑Mux‑Module mit typischen Kanalabständen von 50, 75 oder 100 Gigahertz (GHz).

Varianten wie „FSP‑3000‑Cloud Connect“ kombinieren hochdichte Mux/De‑Mux‑Karten mit leistungsstarken Verstärkern und sind ausdrücklich für Rechenzentrums‑Interconnects konzipiert, bei denen mehrere Terabit pro Sekunde auf wenigen Rack-Einheiten realisiert werden sollen. In der Praxis ersetzt ein einzelnes 1‑ bis 2‑RU‑Shelf ganze Schrankreihen älterer Lösungen aus separaten EDFAs, Dispersionseinheiten und Überwachungsmodulen.

Besonders deutlich wird die Verdichtung bei disaggregierten Systemen wie die Groove‑ beziehungsweise „GX‑G30“‑Serie von Infinera. Die Plattform stellt in einem 1‑RU‑Chassis mehrere Service‑Slots bereit, die je nach Bestückung bis zu 4,8 Tbit/s Kapazität als Muxponder oder offenes Line‑System aufnehmen können.

Programmierbare DWDM‑Line‑Interfaces sorgen dafür, dass 10G‑, 100G‑ und 400G‑Dienste sehr dicht auf Wellen im C‑Band gemappt werden, während integrierte Line‑Module Verstärkung, optische Leistungsmessung und Schutzfunktionen bündeln. Damit entsteht in einer einzigen Höheneinheit ein vollständiger DCI‑Kopf, der mehrere Hundert Gigabit bis hin zu mehreren Terabit transportiert – inklusive OCM‑Überwachung, OTDR‑Funktionen und flexibler Gitterfilter für hohe Baudraten.

Das oft abstrakt formulierte Konzept „Multi‑Rail‑Verstärker, die mehrere Faserpaare parallel behandeln“, wird in solchen Plattformen als Multi‑Degree‑ROADM‑System umgesetzt. In einer 6500‑RLS‑Konfiguration können zum Beispiel C‑ oder C+L‑Band‑ROADMs mit 12‑ oder 32‑Ports eingesetzt werden, die mehrere Faserpaare für verschiedene Richtungen (Ost, West, Nord, Süd) in einem gemeinsamen Line‑Shelf zusammenfassen. Jede Richtung erhält eigene Verstärkerstufen und Überwachung, während die Plattform als Ganzes wie ein einziger, logisch konsistenter Knoten betrieben wird (siehe auch die Bildergalerie).

Bildergalerie

Bildergalerie mit 8 Bildern

Vergleichbare Multi‑Degree‑Knoten lassen sich auch mit FSP‑3000‑Shelves aufbauen, bei denen pro Richtung dedizierte EDFA‑Module und optische Leistungsmessung in dasselbe Chassis integriert sind. Damit wird optische Technik wird zum zentralen Hebel verteilter KI-Architekturen.

C‑ und L‑Band‑Verstärker, ROADMs, Mux/De‑Mux und Monitoring werden so eng wie möglich zusammengefasst, um Footprint und Energieverbrauch pro transportiertem Gigabit deutlich zu senken. Für Betreiber mit knappen Flächen‑ und Energiebudgets – sei es Colocation‑Standorten oder urbanen Aggregationsknoten – sind genau diese hochverdichteten Line‑Systeme der Schlüssel, um wachsende 100G‑/400G‑Lasten noch in vorhandenen Infrastrukturen unterzubringen.

Hohlkern: keine heiße Luft

In klassischen Singlemode‑Fasern wird das Licht in einem Glaskern mit höherem Brechungsindex geführt, der das Signal über Totalreflexion im Inneren hält. Das Material selbst verursacht Dämpfung, chromatische Dispersion, also Laufzeitunterschiede zwischen Spektralkomponenten, und nichtlineare Effekte. Je länger die Strecke und je höher Symbolrate und Modulationsformate, desto stärker begrenzen diese Effekte die maximal erreichbare Datenrate über eine gegebene Faser (siehe: Abbildung 1 bis 4).

Hollow-Core-Fasern kehren das Prinzip teilweise um: Das Licht propagiert überwiegend durch einen luftgefüllten oder hohl strukturierten Kern und wird über periodische Mikrostrukturen im Glasmantel, etwa Bandgap- oder Anti-Resonanz-Effekte, geführt. Weil Luft einen niedrigeren Brechungsindex und deutlich geringere nichtlineare Effekte als Glas aufweist, können Gruppenlaufzeit, Signalverzerrungen und Interaktion mit dem Mantelmedium sinken.

Man kann mit höherer optischer Sendeleistung hineingehen, ohne die typischen Nichtlinearitäten klassischer Glasfasern im gleichen Maß zu triggern. Verstärkerstandorte können dadurch seltener und kompakter ausfallen, was Investitions‑ und Betriebskosten senkt. Das ist attraktiv insbesondere für lange DCI‑ und Subsea‑Strecken sowie für Finanz‑Low‑Latency‑Verbindungen.

Was heißt das für eine verteilte KI?

Für KI- und HPC-Lasten eröffnet das perspektivisch die Option, Latenz und Jitter auf Metro- und Regionalstrecken weiter zu drücken, ohne ausschließlich über mehr Wellenlängen und aggressivere Modulationsschemata zu skalieren. Microsoft beispielsweise hat mit der Übernahme des britischen Glasfaser‑Startups Lumenisity in 2022 frühzeitig auf Hollow-Core-Fasern gesetzt. Lumenisity war ein Spin-off des Optoelectronics Research Centre der University of Southampton.

Das HCF‑Design von Lumenisity nutzt einen Luftkern mit speziellen Mikrostrukturen, zum Beispiel NANF / Anti‑Resonanz, wodurch Licht effektiv ~40 bis 50 Prozent schneller als in massivem Glas und dabei mit geringerer Dämpfung, geringerer Nichtlinearität und sehr geringer Latenz läuft. Zielanwendungen sind Low‑Latency‑Verbindungen für Rechenzentren, DCI, 5G/Edge, Subsea- und Finanz‑Handelsstrecken mit sehr niedriger Latenz.

Microsoft will die Technologie von Lumenisity schrittweise in die eigene „Azure“-Transportinfrastruktur einfließen lassen. In öffentlichen Roadmaps ist von einem Ausbau in der Größenordnung von einigen zehntausend Kilometern HCF die Rede, primär für KI‑DCI, Cloud-Backbones und Latenz-sensible Workloads.

In Europa

Parallel dazu gibt es in Europa bereits erste produktive HCF‑Links, etwa im Handelsumfeld zwischen Rechenzentren und Börsenstandorten, bei denen Finanzhäuser von signifikant reduzierter Latenz sprechen. In Europa wurden mit Lumenisity‑Fasern bereits produktive Low‑Latency‑Strecken etwa für Finanzhandelsplätze (euNetworks nach London‑Venues) gebaut.

Neue Fasertypen wie Hollow-Core-Fasern werden überall dort interessant, wo eng gekoppelte, verteilte GPU-Domänen oder andere zeitkritische KI-Workloads über mehrere Standorte hinweg betrieben werden sollen – vorausgesetzt, Verfügbarkeit, Kosten und Betriebsmodelle entwickeln sich mit.

Bandbreite löst jedoch nicht alle Architekturfragen. Sie ersetzt weder gute Topologieplanung noch Congestion Control, Telemetrie, Storage-Nähe oder saubere Betriebsprozesse. Aber sie wird nachweislich zur Standortbedingung. Zwei Standorte mit Strom und Kühlung bleiben getrennte Kapazitätsinseln, wenn die Verbindung dazwischen nicht trägt. Erst wenn Anschlussleistung, Kühlung und Bandbreite zusammenkommen, entsteht aus verteilten Standorten ein funktionaler KI-Verbund.

(ID:50872647)