Rechenzentrumskühlung Warum ToR-Switches zum thermischen Engpass im Rack werden

Anbieter zum Thema

PANDUIT

DAXTEN GmbH

ConSysTech GmbH

Steigende Leistungsdichten durch KI-Workloads erhöhen die Temperaturen in Rechenzentren. Ein Kundenprojekt zeigt, wie sich die Kühlung von Top-of-Rack-Switches verbessern und die Energieeffizienz steigern lässt.

Energieeffizienz und eine wirksame Kühlung im Rechenzentrumsschrank sind weiterhin – oder vielmehr wieder – ein zentrales Thema. Die Temperaturen in Rechenzentren steigen kontinuierlich an: In Kaltgang Konfigurationen liegen sie inzwischen häufig bei über 22 Grad Celsius auf Bodenniveau, während früher Werte von 16 Grad Celsius bis 17 Grad Celsius üblich waren. Der Trend zeigt klar nach oben, da leistungsstärkere Prozessoren und eine zunehmende Kabelkonsolidierung die Leistungsdichte in den Racks weiter erhöhen.

Fellow bei Dell Ty Schmitt sagt..

Direct-Liquid-Cooling wird zum Stan­dard – Immersion bleibt Nische

Rechenzentren entfernen sich zunehmend von den vergleichsweise stabilen Betriebsumgebungen, in denen Betreiber mit durchschnittlichen Leistungen von 4 Kilowatt (kW) bis 6 kW pro Rack planten und sich an den Klimarichtlinien der American Society of Heating, Refrigerating and Air-Conditioning Engineers (Ashrae) orientierten. Moderne GPUs (Graphics Processing Units) erzeugen deutlich mehr Abwärme als klassische Serverhardware. Ein „Nvidia DGX Server“, beispielsweise der „DGX H100“ kann unter Volllast rund 10,2 kW aufnehmen, während herkömmliche Server typischerweise zwischen 500 und 1.200 W verbrauchen.

Untersuchungen von Digiconomist, veröffentlicht im Fachjournal „Joule“, prognostizieren einen Anstieg des KI bezogenen Stromverbrauchs von jährlich 85,4 Terawattstunden (TWh) auf bis zu 134,0 TWh noch vor 2027. Zudem könnte der Stromverbrauch von Rechenzentren weltweit bis 2030 rund 4 Prozent der gesamten Stromerzeugung erreichen. Als Reaktion darauf treibt die Europäische Union neue Vorgaben und Regularien zur Steigerung der Energieeffizienz voran, unter anderem im Hinblick auf Kennzahlen wie PUE (Power Usage Effectiveness) und ERF (Energy Reuse Factor).

ToR-Switches geraten in den Wärmestrom der Server

Die klare Trennung von warmen und kalten Zonen innerhalb der Racks ist heute unverzichtbar und hat sich insbesondere bei Prozessordichten Rack Konfigurationen bewährt. Ein oft unterschätztes, aber kritisches Element innerhalb des Schranks oder der Rack Reihe ist jedoch der Netzwerkswitch. Er stellt die Datenkommunikation sicher und ist für den unterbrechungsfreien Betrieb essenziell. In einer Top of Rack (ToR) Konfiguration muss dieser Switch zwingend durch eine geeignete Luftführung unterstützt werden, um eine Überhitzung – mit potenziell gravierenden Folgen – zu vermeiden.

ToR-Switches sind häufig entgegengesetzt zur Luftströmung der darunter installierten Server ausgerichtet. Sie befinden sich meist im oberen Bereich des Schranks, sind zur Rückseite hin orientiert und werden von der Warmgangseite aus gewartet. In der Regel belegen sie etwa die halbe Racktiefe und verfügen oft über keine oder nur unzureichende direkte Kühlung. Die Folge: Der Switch saugt die heiße Abluft der darunterliegenden Server an, was zu erhöhten Betriebstemperaturen führt.

Kundenprojekt deckt Kühlungsproblem auf

Ein Kundenprojekt verdeutlicht diese Problematik. In einem Rechenzentrum mit rund 300 Schränken kam es vermehrt zu Störungen und Ausfällen von Netzwerkkomponenten. Bei der Analyse zeigte sich, dass die ToR-Switches durchgängig im oberen, rückwärtigen Bereich der Schränke montiert waren. Zusätzlich waren auf der Vorderseite der entsprechenden Höheneinheiten Blindplatten installiert, um zu verhindern, dass warme Abluft in den Kaltgang zurückströmt. Diese Maßnahme blockierte jedoch gleichzeitig den Zustrom von Kaltluft zur Kühlung der Switches. Ob ursprünglich eine Kaltluftzufuhr über die Schrankfront vorgesehen war, ließ sich nicht mehr nachvollziehen – zum Zeitpunkt der Untersuchung stand den Switches jedenfalls keine Kaltluft zur Verfügung.

Verfügbaren Raum maximieren

Mehr Platz, Sicherheit und Komfort im Rechenzentrum

Immersionskühlung

Warum Immersion die coolste Technik für Rechenzentren ist

Mit steigender Leistungsdichte aktiver Komponenten wächst auch der Energiebedarf – und damit die Abwärme, die innerhalb des Schranks abgeführt werden muss. Dadurch erhöht sich die thermische Belastung im Bereich der ToR-Switches, was deren Effizienz reduziert und die Betriebssicherheit gefährden kann.

Passiver Luftkanal verbessert die Luftführung

Im beschriebenen Szenario war daher eine Lösung erforderlich, die eine kontinuierliche, direkte Kühlung der Switches sicherstellt und gleichzeitig unabhängig von zukünftigen Hardware-Upgrades im Rack funktioniert. Zum Einsatz kam ein passiver Lufteinlasskanal mit einer Bauhöhe von 2 Höheneinheiten (HE), speziell entwickelt für Netzwerkschränke. Der Kanal wird direkt bündig mit dem Switch installiert. Durch die perforierte Frontblende im Kaltgang wird ungehindert kühle Luft angesaugt, durch den Switch geführt und anschließend in den Warmgang abgegeben. Dadurch wird die thermische Effizienz des Switches deutlich verbessert.

Der modulare ToR-Switch-Lufteinlass wurde mithilfe von CFD-Simulationen (Computational Fluid Dynamics) entwickelt und in thermischen Laborumgebungen verifiziert. Gerade in Rechenzentren mit erhöhten Betriebstemperaturen im White Space ermöglicht dieses Design höhere Temperatur Sollwerte – und damit signifikante Einsparungen bei den Energiekosten.

Steigende Wärmelasten in Serverschränken und wachsende Anforderungen an die Energieeffizienz machen es zwingend erforderlich, dass sämtliche Komponenten innerhalb ihrer Spezifikationen betrieben werden. Leistungsfähigere Geräte mit höherem Strombedarf erzeugen mehr Abwärme, weshalb ein effektives Wärmemanagement unerlässlich ist. Ein modularer ToR-Switch-Lufteinlasskanal leistet hier einen wichtigen Beitrag zur thermischen Stabilität und zum zuverlässigen Betrieb der Netzwerkkomponenten.

Weniger Lüfterleistung, geringere Betriebskosten

Nach der Erläuterung der Analyse-Ergebnisse und der gemeinsam erarbeiteten Lösung – inklusive des passiven ToR-Switch-Luftkanals – entschied sich der Betreiber zügig für die Umsetzung. Die Installation in allen 300 Schränken erfolgte schnell und ohne Unterbrechung des laufenden Betriebs. Da passive Luftkanäle keinen Stromanschluss benötigen und einfach nachzurüsten sind, können sie bei aktiver IT-Last installiert werden.

Ein zusätzlicher Vorteil der gezielten Switch-Kühlung ist die deutliche Reduzierung der Lüfterdrehzahl im Switch selbst – um bis zu 80 Prozent. Gleichzeitig entfällt die Notwendigkeit, die Gesamtkühlleistung des Schranks zu erhöhen. Zudem sinkt die Anzahl automatischer Temperatur Warnmeldungen, was wiederum den Wartungsaufwand und unnötige Serviceeinsätze reduziert.

ToR-Switches sind ein zentraler Bestandteil der Server Access Netzwerke moderner, virtualisierter Rechenzentren. Modulare, passive Lufteinlasskanäle bieten für Neubauten und für Retrofit-Projekte eine praktikable Lösung. Sie ermöglichen den Zugang zu Lüftern und Netzteilen, ohne bestehende Verkabelung oder Hardware zu beeinträchtigen. Durch die Nachrüstung von ToR-Switch-Luftkanälen lassen sich höhere Temperatur Setpoints im Rechenzentrum realisieren – mit dem Ergebnis höherer Energieeffizienz und geringerer Betriebskosten.

Einen kühlen Kopf bewahren

Das Cooling-Konzept für Rechenzentren von Dell Technolgies

KI-Infrastruktur zwischen Energiebedarf und Effizienz

Deswegen wird Nachhaltigkeit zum Erfolgsfaktor für KI

(ID:50927402)