Ziemlich „routiniert“ Das Cisco-Energiesparwunder für Datacenter und Telcos

Für Betreiber von IT-Infrastrukturen sind Leistung und Nachhaltigkeit untrennbar miteinander verbunden. Mit der „8000“-Reihe von Netzwerkroutern konnte Cisco eine bahnbrechende Dichte und massive Skalierbarkeit mit Energie-Effizienz der Extraklasse unter einen Hut bringen. Das Herzstück des Technikwunders ist „Silicon One“: 'Ein Chip, sie zu vernetzen, sie alle zu finden, ins Fabric zu routen und ewig zu binden'.

Die Deutsche Telekom will „Stabilitätsanker in unsicheren Zeiten“ sein. Dazu gehören stabile, leistungsstarke Netzwerk-Infrastrukturen. Diese baut man aktuell intensiv aus.

In enger Zusammenarbeit mit Cisco wagte die Deutsche Telekom vor rund anderthalb Jahren eine monumentale Aufgabe: das komplette Redesign des eigenen Netzwerks auf der Basis von Cisco 8000 Series, den leistungsstärksten massiv skalierenden Routern der Branche. In gerade einmal vier Monaten von der Planung bis hin zur vollständigen Bereitstellung und nur knapp ein Jahr nach der Markteinführung der 8000er Serie war es dann auch so weit.

Die modernisierte Infrastruktur kommt seither rund 300 Millionen Mobilfunkkunden sowie Benutzern der mehr als 27 Millionen Festnetz- und der 22 Millionen Breitbandanschlüsse der Deutschen Telekom zugute. Das Unternehmen ist der größte Telekommunikationsanbieter Deutschlands mit einem Anteil von rund 43 Prozent am Umsatz der Branche und – nicht vergessen – Sponsor einer der besten Fußballklubs Europas (FC Bayern München).

Der Kern: Silicon One Q200

Mit der Einführung der 8000-Serie setzt die Deutsche Telekom auf eine Router-Architektur, die sich Ciscos hauseigene Netzwerkverarbeitungseinheit (NPU), „Silicon One Q200“, zu Nutze macht. Die Netzwerk-Modernisierung hat die Grenzen der Machbarkeit getestet; selbst ohne eine Magenta-Brille muss man zugeben, dass die Resultate aus dem Rahmen des Gewöhnlichen fallen.

Die Deutsche Telekom konnte im Zuge des Netzwerk-Upgrades den Stromverbrauch der Router pro 100 Gigabit pro Sekunde (Gbps) um bis zu 92 Prozent senken (in Worten: um bis zu zweiundneunzig Prozent). Dank der hohen Port-Dichte ließen sich nebenbei die Platzanforderungen der Geräte erheblich reduzieren: Anstelle von je acht Racks war plötzlich nur ein einziges nötig.

Walter Goldenits, CTO bei Telekom Deutschland, fasst zusammen: „Die Zusammenarbeit mit Cisco hat uns ein sicheres und stabiles Netzwerk beschert, dessen überlegene Verfügbarkeit und Sicherheit unseren Kunden zugutekommen."

Das Beispiel macht Schule

Oteglobe, ein in Athen ansässiger Betreiber von Backbone-Konnektivitätsdiensten für Carrier, ISPs und Geschäftskunden, ließ sich das nicht zweimal sagen. Die hundertprozentige Tochtergesellschaft von OTE, dem wichtigsten Telekommunikationsanbieter Griechenlands, setzt ebenfalls Routern der 8800-Serie von Cisco. Panagiota Bosdogianni, CTO bei Oteglobe, kommentiert: Man habe so „Innovations- und Nachhaltigkeitsziele mit einem (Energie-)effizienten Netzwerk erreichen“ und den Anforderungen des Datenverkehrs zuvorkommen können.

Bis kurz vor der Vorstellung der Router-Architektur vor rund drei Jahren war Cisco dabei, Marktanteile – sowohl in der Umsatzdimension Umsatz als auch gemessen an der Anzahl gelieferter Ports – an Mitbewerber zu verlieren. Rund die Hälfte dieses Volumens konnte Arista Networks erobern, aber nur bis Cisco seine neuartige ASIC-Architektur vorstellte, das Herzstück der 8000er Serie: „Silicon One“.

Cisco hat seither mehr als 1.200 Unternehmenskunden für die Router der 8000er Serie gewinnen können. Diese beneidenswerte Zahl wächst noch weiter.

Leistung und Nachhaltigkeit: die Quadratur des Kreises?

Mit Silicon One adressiert Cisco die neuen Realitäten nachhaltigkeitsbewusster Hyper-Konnektivität im Datencenter und außerhalb. Lawrence Wobker, Principal Engineer bei Cisco, witzelt: „Jeder [Unternehmenskunde] will ein System mit unendlicher Skalierbarkeit, das jede bekannte Metrik aufzeichnet, sich dabei vollständig programmieren lässt, mit einer [unschlagbaren] QoS trumpft, unbeschränkten Packet-Buffer mitbringt, unendlich flott zur Sache geht, keine Energie verbraucht, kein Geld kostet“, bringt er es treffend auf den Punkt: „... und dann auch noch mehr Bandbreite bietet, als es jemals zu switchen geben wird. “

Bei der Entwicklung der 8000er Serie musste Cisco die Zielsetzung natürlich in einigen Punkten anpassen. Das Projekt war dennoch ein Drahtseilakt der besonderen Art.

Mit der Cisco 8000 Serie entstand eine Reihe von hoch skalierbaren, tief gebufferten 400G-optimierten Routern mit on-chip HBM (High Bandwidth Memory) mit einer bahnbrechenden Performance von 10,8 Tbps (7,2 Milliarden Pakete) bis 12,8 Tbps pro Rack-Einheit. (Das muss man halt in Perspektive sehen: Das Rack-montierte modulare System der Serie bringt es auf eine Vollduplex-Übertragungsrate von satten 260 Tbps.) Diese bemerkenswerte Leistung bricht nebenbei auch noch Rekorde der Energie-Effizienz.

Cisco Silicon One war die erste Silikon-basierte Chip-Architektur für Router, die eine Netzwerkbandbreite von mehr als 10 Tbps bereitstellen konnte. Die erste Generation des ASICs, der Q100 in 16-nm Prozesstechnologie, erreicht einen Datendurchsatz von 10,8 Tbps. Der Q200 in 7-nm Prozesstechnologie bringt es auf 12,8 Tbps.

Beide ASICs verbinden elastische Skalierbarkeit mit tiefem Buffering. Diese beiden Features erfordern normalerweise Off-chip-Speicher, was dann aber wiederum für Performance-Engpässe sorgt.

Die Speicherbandbreite und Zugriffsraten auf den Speicher folgen nicht dem Mooreschen Gesetz. Sie wachsen viel zu langsam, um mit anderen Systemkomponenten Schritt zu halten. Um die Gesamtleistung des Systems zu erhöhen, musste sich Cisco etwas grundlegend Neues einfallen lassen.

Ein großes Leaf-Spine-System

In Silicon One verzichtet Cisco auf Off-Chip-Speicher. Zwei HBM-Bausteine sitzen hier einfach auf einem Silizium-Interposer, der direkt mit der Recheneinheit verbunden ist, welche die Daten aus dem Speicher weiterleiten soll. So sind die Daten von vorne heran näher am Chip dran.

Der Chip besteht aus sechs weiterleitenden Slices. Er teilt sich in einen Empfangs- und einen Sendepfad auf. Die Slices sind über eine so genannte SMS-Einheit (Shared Memory Switch), ein internes Interconnect, miteinander verbunden. „Alles zusammen steckt in einem einzigen Chip-Package,“ enthüllt Wobker. Diese bildet eine hochintegrierte weiterleitende Recheneinheit, was das Gerät sehr Energie-effizient macht und nebenbei den Kühlbedarf wie auch die Platzanforderungen senkt.

Ein Router der 8000er Serie sei im Grunde genommen „ein großes Leaf-Spine-System, das mechanisch komprimiert wurde“, erklärt Wobker.

Router aus Cisco 8000-Serie verstehen sich unter anderem auf das Routed Optical Networking – eine Architektur, in der IP und Optik konvergieren. Die Zusammenführung von IP- und dedizierten privaten Leitungen auf einer einzigen Ebene, auf der alle Switches auf Layer 3 durchgeführt werden, schafft Simplizität und betriebliche Effizienz. Die Router sind mit standardisierter 400G ZR/ZR+ kohärenter Pluggable-Optik verbunden.

Die APIs

Mit einer einzigen IP-basierten Dienstebene können flexible Management-Tools die Telemetriedaten anzapfen und sich Modell-getriebene Programmierbarkeit zu Nutze machen, um Lifecycle-spezifische Operationen zu optimieren. Diese vereinfachte Architektur integriert offene Datenmodelle und standardisierte APIs, um die Automatisierung zu vereinfachen.

„Die Konvergenz von IP-basierten und optischen Netzen ermöglicht eine revolutionäre Senkung der Netzwerkkosten und vereinfacht die Verwaltung“, resümiert Bill Gartner, Senior Vice President/GM der Optical Systems & Optics Group bei Cisco. Dies soll Kunden wie der schwedischen Arelion ermöglichen, mit steigenden Bandbreitenanforderungen im Laufe der nächsten 10-15 Jahren kosteneffizient zu skalieren.

Die Kunst der Kompromisse: das Leistungswunder Silicon One

Cisco kam in den Besitz der einzigartigen Chip-Architektur, Silicon One, im Zuge der Übernahme der israelischen Leaba Semiconductor im Jahre 2016. Eben dieser Chipsatz bildet in Kombination mit der von Grund auf überarbeiteten Software IOS xr-7 das Herzstück der 8000er Serie. Inzwischen hat Cisco verschiedene Varianten von Silicon One unter anderem auch in seinen Catalyst- und Nexus-Familien von Switches und Routern verbaut.

Die Fähigkeit, eine einzige Chip-Architektur für Switching und Routing zu nutzen, stand lange auf der Wunschliste von Hyperscalern und Datacenter-Betreibern. Mit Silicon One ist dem Netzwerkriesen ein großer Wurf gelungen. So kombiniert Silicon One einige begehrenswerte Eigenschaften von Switch-optimierten ASICs und einige von Routing-optimierten ASICs – wie zwei Seiten einer Münze – in einer einzigen Schaltung.

Typische Switching-SoCs (System-on-Chip) im Rechenzentrumsmarkt sind für eine hohe Bandbreite, eine geringe Leistungsaufnahme und eine hohe Anzahl von Paketen pro Sekunde optimiert. Diese Merkmale fallen dann häufig zu Lasten der Skalierbarkeit, der Pufferung und der Flexibilität im Hinblick auf Möglichkeiten zum späteren Nachrüsten der benötigten Features. Das Ziel besteht darin, schnelle, günstige und leichtgewichtige Switches zu entwickeln.

Zwei anspruchsvolle Anwendergruppen

Hardware für klassische Service-Provider verfolgt einen entgegengesetzten Ansatz. Hier werden Switches eher auf Skalierbarkeit und Programmierbarkeit getrimmt, mit einem besonderen Augenmerk auf Quality-of-Service (QoS), tiefe Pufferung und eine lange Lebensdauer der Geräte.

Diese beiden Ansätze haben gegensätzliche Schwerpunkte und adressieren unterschiedliche Marktsegmente. Rechenzentren ziehen häufig günstigere, schnellere und leichtgewichtigere Switches vor, die eine hohe Bandbreite verarbeiten und schnell skalieren können. Im klassischen Service-Provider-Markt hingegen liegt der Fokus eher auf Flexibilität, Skalierbarkeit und langfristige Bestandsfähigkeit, um einen qualitativ hochwertigen Service über einen Zeitraum von bis zu anderthalb Jahrzehnten bereitzustellen.

In beiden Fällen sind hohe Leistungsfähigkeit, Effizienz und Zuverlässigkeit entscheidend für den Markterfolg, nur halt in einer unterschiedlichen Ausprägung. Mit Silicon One wollte Cisco das Beste aus beiden Welten und das auch noch zu einem erschwinglichen Preis. Zusätzlich galt es, dem Zeitgeist der Nachhaltigkeit Rechnung zu tragen.

Silicon One kann mit seiner einzigartigen Architektur mehrere Nutzungsszenarien abdecken, darunter:

• Router-on-Chip: eine eigenständige Verarbeitungseinheit für ein Fixed-System;

• Line-Card-NPU: eine Netzwerkverarbeitungseinheit zur Datenweiterleitung für Line-card-basierte Systeme;

• Switch-Fabric-Funktionalität in einem Router: eine Fabric-Interconnect-Netzwerkschaltung für größere modulare Systeme.

Diese Vielseitigkeit hat es Cisco ermöglicht, erhebliche Skaleneffekte zu erzielen, die Versorgungsketten zu straffen und – last but not least – die Systemarchitektur seiner Netzwerkhardware auf Leistung und Energie-Effizienz zu trimmen. Durch den hohen Grad an Integration sind unter anderem unzählige Spannungsumwandlungsschritte entfallen, bei denen ein Teil der Leistung als Wärme abfließt.

Alles schon Magenta, oder wie?

Das hängt von der Perspektive ab. Um das volle Leistungspotenzial des Energiesparwunders Silicon One auszuloten, sind massive Kompetenzen in Sachen Systemarchitektur vonnöten, beobachtet Wobker. Diese fallen nicht vom Himmel.

„Ein 10,8 Tbps Router/Switch [der Serie 8000 von Cisco mit Silicon One wie der 8201] kommt mit gerade einmal 415 Watt aus,“ so Wobker – oder 4 Watt pro 100 G beim Einsatz von zwei optischen Modulen. „Mit noch weniger Energie kann man nicht einmal einen Kaffee kochen“. Der 8202 bringt es auf etwa 750 Watt.

Die offiziellen Zahlen zum Energiebedarf lassen die optische Leistungsaufnahme außen vor. „Wir haben aufgehört, die Leistungsaufnahme der optischen Konnektivität in den Energieverbrauch des Gesamtsystems einzubeziehen“, bestätigt Wobker. Das sei kein böser Wille, sondern ein Zugeständnis an die Realitäten moderner Systemkonfigurationen.

In früheren Zeiten, als zwölf optische Module auf einer Line-Card mit jeweils 3 Watt pro Modul auskommen konnten, habe sich niemand über die 36 Watt aufgeregt. Heute sitzen vielleicht 36 Ports auf einer Line-Card und saugen jeweils 20 Watt pro optischen Anschluss, das macht dann gleich 720 Watt allein für die „Optik“.

Flecken auf dem Chrom?

Strom rein, Wärme raus: Je mehr Leistung ein System aufnimmt, umso mehr muss man an thermischer Energie abführen. Unterschiedliche Komponenten haben unterschiedliche Toleranzen.

Modulare saugen kalte Luft an der Vorderseite des Chassis auf; sie fließt dann über die Optik nach hinten. Alle nachgeschalteten Geräte empfangen bereits vorgewärmte Luft und geben dann ihre eigene Abwärme auch noch ab. Diese tritt dann an der Rückseite des Systems aus.

In Fixed-Systemen lassen sich die Lüfter umdrehen, sodass sich die Optik auf der nachgeschalteten Seite befindet. In diesem Fall muss der Raum kühler sein.

Kreuz und quer durch den disaggregierten Stack

Cisco lizezsiert Teile seines Technologie-Stack – ganz im Sinne der Disaggregation – an andere Unternehmen, ob Hyperscaler, Telekommunikationsdienstleister oder Großkonzerne (Stichwort: Merchant Silicon). Mit dem Silicon One tritt Cisco in Wettbewerb mit Anbietern wie Broadcom, Intel, Juniper und Arista Networks um das Geschäft mit Hyperscalern und Whitebox-freundlichen Datencenter.

„Die Hyperscaler bauen ihre Systeme hauptsächlich aus kleinen, festen Boxen auf“, so Wobker, weil es kein modulares System gäbe, das groß genug wäre, um die Art von Bandbreite zu ermöglichen, die diese Rechenzentren benötigten, begründet der Ingenieur weiter.

In Zusammenarbeit mit Meta, der Muttergesellschaft von Facebook, hat Cisco eine Variante seines Chip-Designs zum Open Compute Project beigesteuert. (Bis zur Vorstellung des ASICs bediente den Markt für Merchant-Silicon fast im Alleingang die Chip-Schmiede Broadcom.)

Meta und Cisco haben Silicon One in eine Handvoll von Metas Top-of-Rack-Switches (TOR) verbaut. Im „Wedge400C“ TOR kommt zum Beispiel der „Q200L“ zum Tragen, eine Variante des Silicon One im 7-Nanometer-Verfahren. Die Spezifikationen liegen im Rahmen der OCP-Initiative offen.

Bei dem Wedge400C TOR handelt es sich um einen wartungsfreundlichen Switch für Web-Scale-Nutzungsszenarien. Das Gerät erreicht eine Datenübertragungsrate von bis zu 12,8 Tbps mit bis zu 16 Ports in 400 Gbps und bis zu 32 Ports in 200 Gbps und trumpft auch noch mit seinem vor-Ort-auswechselbaren CPU-Subsystem „Minilake“.

Whitebox-Optionen

Cisco Silicon One ist eine Antwort auf die zunehmende Verbreitung von 'Whiteboxes', also No-name-Hardware aus standardisierten Standardteilen. Diese White-Boxen verwenden kommerzielles Silizium von Chip-Herstellern wie Broadcom.

Obwohl Cisco seine eigenen gebündelten Systeme herstellt, bietet das Unternehmen jetzt auch Whitebox-Optionen an, die andere Netzwerk-Betriebssysteme unterstützen. Silicon One trägt die Last, die Software macht dann den Rest. Im Falle der hauseigenen „IOS XR7“ legt Cisco noch einmal einen drauf.

(Im Übrigen: Cisco ist der Inhaber der Handelsmarke iOS, nicht Apple. Der Anbieter von Verbraucherelektronik aus Cupertino darf die Handelsmarke für sein mobiles Betriebssystem in Lizenz nutzen. Einige Jahre zuvor hatte Apple ebenfalls von Cisco die Nutzungsrechte an der Handelsmarke „iPhone“ erworben. Unter der Haube nutzen die beiden Unternehmen eigene Technologien und haben sonst nichts groß miteinander zu tun.)

Router der Cisco 8000 Serie beziehen Echtzeit-Analysen und operative Einsichten aus Ciscos eigener Crosswork Cloud. Diese Anbindung soll intelligente Netzwerkautomatisierung ermöglichen und helfen, die Betriebskosten im Zaum zu halten.

Mit einem in Hardware verankerten Root of Trust, ausgefuchsten Sicherheitsfunktionen von IOS XR7 und Remote-Sicherheitsattesten können Betreiber die Geräteintegrität von Boot-Zeit bis Run-Zeit etablieren. Die lückenlose Überwachung der Netzwerkfunktionen soll verhindern, dass sich dort nicht-validierte oder bösartige Software breit macht.

* Das Autorenduo Anna Kobylinska und Filipe Pereia Martins arbeitet für McKinley Denali Inc.(USA).

(ID:49240802)