Gut gekühlt, niemals kalt erwischt Es gilt, die Datacenter-Kühlung auf-, um- und nachzurüsten

Anbieter zum Thema

Rittal GmbH & Co. KG

Vertiv GmbH

ConSysTech GmbH

Angesichts steigender Leistungsdichte und wachsender Anforderungen an Energie-Effizienz rückt die Kühltechnik beim Auf-, Um- und Nachrüsten von Rechenzentrumsanlagen in den Vordergrund. Dieser Schlüsselfaktor der Betriebskontinuität braucht in Zeiten steigender Energiepreise und stotternder Lieferketten eine gewisse Krisenresistenz.

Da Rechenzentren auf eine konstante, zuverlässige Kühlung angewiesen sind, um Überhitzung und damit verbundene Hardware-Ausfälle zu verhindern, gilt es, dieses Subsystem besonders robust und widerstandsfähig gegenüber Krisen wie Naturkatastrophen, Stromausfällen oder plötzlichen Lastspitzen zu gestalten. Aus KI-Racks muss die Wärme noch schneller raus.

Hochverdichtete KI-Fabriken müssen daher als erste den technologischen Wandel vollziehen, der auch allen anderen bevorsteht (siehe dazu: „Zero-Emissionen oder gar Klima-positiv“). Doch auch Bestandsrechenzentren wollen für eine krisenresistente und zukunftsfähige Kühlung vorsorgen.

Die bisher weit verbreitete Luftkühlung reicht zunehmend nicht mehr aus und stößt sowohl physikalisch als auch wirtschaftlich immer öfter an ihre Grenzen. Zudem ist sie ein Stromfresser. Die Ausfälle sind noch kostspieliger als der laufende Betrieb ineffizient. Angesichts der strengen Vorgaben der DSGVO sowie des EU AI Act wollen sich Datacenter-Betreiber nicht den Luxus eines Ausfalls leisten.

„Krisenfest“ geht anders!

Eine Modernisierung der Kühlinfrastruktur in einem Rechenzentrum ist sicherlich nicht ohne. Angesichts strenger Anforderungen und zum Teil widersprüchlicher Prioritäten müssen Datacenter-Betreiber in vielen Fällen die Quadratur des Kreises wagen.

Das Vorhaben beginnt mit einem kritischen Blick auf das bestehende Luftkühlsystem vor dem Hintergrund künftiger Anforderungen an Krisenresistenz. Ist von den bestehenden Systemen in Sachen Energieeffizienz noch was zu reißen?

Luft holen, stellenweise begießen oder lieber ganz eintauchen?

Luftkühlung ist in Rechenzentren weit verbreitet. Dort, wo die Leistungsdichte es erlaubt, kann eine Optimierung der Luftkühlung eine kosteneffiziente Möglichkeit darstellen, den Energieverbrauch zu senken und die Anforderungen des Energie-Effizienzgesetzes zu erfüllen.

Einige gängige Sofortmaßnahmen bei luftgekühlten Serverhallen in Bestandsrechenzentren umfassen Hot- und Cold-Aisle-Containment, Anpassung der Rack-Anordnung im Hinblick auf die Optimierung des Luftstroms, den Ausbau von Freikühlung, Installation von Blanking Panels in ungenutzten Rack-Plätzen, intelligente Steuerungssysteme und dergleichen andere. Ob Neubau oder Modernisierung des Altbestands: In Hochleistungs-Anlagen greift die Luftkühlung zu kurz.

KI- und HPC-Rechenzentren verwenden in der Regel extrem leistungsstarke Hardware, darunter GPUs, TPUs und spezialisierte KI-Beschleuniger, die eine enorme Wärme-Abgabe verursachen. Flüssigkühlung erlaubt eine höhere Packungsdichte der Hardware und leisen Betrieb im Vergleich zur Luftkühlung. Die Wärmeleitfähigkeit von Flüssigkeiten übersteigt die Effizienz von Luft um den Faktor 50 bis 1.000, erklärt Valeria Mercante, Team Lead Liquid Cooling Solutions, Global Product Management bei Stulz.

Wasser für die Kühlung

Datev eG: Wassergekühlte Racks sparen uns 60 Prozent Stellfläche für Hardware

Eine Auswahlhilfe für Liquid-Cooling von Schneider Electric

Das passende Flüssigkeitskühlungs-Design fürs Rechenzentrum

Luftkühlungssysteme setzen auf Lüfter und komplexe Luftstrom-Management-Systeme, die nicht nur selbst viel Energie verbrauchen, sondern auch erheblichen Lärm erzeugen. Flüssigkühlsysteme arbeiten in der Regel wesentlich leiser. In spezialisierten Hochleistungsumgebungen ist der geringe Geräuschpegel ein relevanter Vorteil.

Bei der Wahl der Methode der Flüssigkühlung haben Betreiber die Qual der Wahl. Es gibt viele Aspekte zu berücksichtigen, vom Platzbedarf über die Leistungsdichte, Anforderungen hinsichtlich der Abwärmenutzung und nicht zuletzt krisenresistentes Kostenprofil.

Um der Herausforderung der Abwärme zu begegnen, legen einige Hersteller ihre Referenzarchitekturen bereits vorbeugend auf direkte Flüssigkeitskühlung aus, da herkömmliche Luftkühlung in vielen Szenarien nicht mehr ausreicht. Dabei werden zum Beispiel GPU-Kühlsysteme direkt auf den Chip angebracht, um die Wärme effektiver abzuleiten. Die Rede ist hier von der Direct-to-Chip-Kühlung mit Kaltplatte (siehe dazu: „Techniken, die Rechenzentren «verflüssigen». Ein Tropfen auf das heiße Silizium”).

Der Direct-to-Chip-Ansatz kühlt gezielt die wertvollsten Komponenten wie CPUs und GPUs. Diese Methode bietet sich in Rechenzentren mit High-Density-Racks an.

Die Tauchkühlung (Immersion Cooling) kühlt hingegen das gesamte System gleichmäßig; sie bietet sich bei Anwendungen an, bei denen eine noch höhere Effizienz der Wärmeabfuhr erforderlich ist (siehe dazu auch den Bericht „»Immersive Erlebniswelten«“, die normalste Sache der Welt“).

Beim Thema Abwärmenutzung ist Flüssigkeitskühlung auf Grund des höheren Temperaturniveaus und der einfachen Anbindung an einen Übergabewärme-Überträger gegenüber reiner Luftkühlung im Vorteil. Flüssigkeitskühlungssysteme erlauben höhere Leistungs- und Systemdichten.

Mit Liquid Cooling sind Werte von 120 kW bis 250 Kilowatt pro Rack im Normalfall ohne weiteres möglich, sofern die Strominfrastruktur mitspielt und eine passende Hydraulik vorhanden ist. Durch den geringeren Platzbedarf eignet sich Liquid Cooling auch optimal für Edge-Standorte mit wenig Fläche und stark fluktuierenden Umgebungstemperaturen. In Serverhallen muss dennoch zwischen den Racks oder Tanks genügend Platz vorhanden sein, um Wartungsarbeiten zu ermöglichen.

Flüssigkeitskühlungssysteme unterscheiden sich unter anderem auch in der Art der Wärme-Übertragung.Bei der einphasigen Flüssigkeitskühlung kommt eine dielektrische Flüssigkeit zum Einsatz, die unter normalen Betriebsbedingungen nicht ihren Siedepunkt erreichen kann; da sie immer flüssig bleibt, wird sie durch den Kreislauf gepumpt. Um die Wärme abzuführen, durchläuft diese Flüssigkeit einen externen Wärme-Überträger.

eBook: Datacenter mit Abwärmenutzung

Die Abwärme(-Abgabe) von Rechenzentren ist ein brennendes Problem. Um der Energieverschwendung Einhalt zu gebieten, fordert der Gesetzgeber Maßnahmen und nimmt die Datacenter-Betreiber in die Pflicht. Doch wie können diese die Herausforderungen meistern?
Zahlreiche Pilot- und Leuchtturmprojekte beweisen jedoch die Machbarkeit der Energierückgewinnung aus Abwärme. Dieses eBook klärt dabei auf wie genau die gesetzlich Vorgaben aussehen und welche Projekte bisher erfolgreich umgesetzt werden konnten.
Hier das Inhaltsverzeichnis:
(PDF | ET 16.09.2024)

... Heiß auf Abwärme: Gesetzliche Grundlagen und Vorgaben

... Kühles Kalkül: Das Geschäft mit der Abwärme

....Erfolgsgeschichten

....Thermische Energiespeicher: Abwärme „hamstern“

>>> eBook: „Datacenter mit Abwärmenutzung“ zum Download

Bei der zweiphasigen Flüssigkeitskühlung wechselt die Flüssigkeit ihren Aggregatzustand. Die dielektrische Flüssigkeit überschreitet infolge der Wärme-Aufnahme ihren Siedepunkt und steigt gasförmig nach oben zum Kondensator, der von außen mit einem Wasserkreislauf gekühlt wird. An diesem Kondensator kühlt sich die dielektrische Flüssigkeit ab, wechselt vom gasförmigen in den flüssigen Zustand und fließt wieder nach unten ab, um erneut Wärme aufzunehmen.

Der Vorteil eines zweiphasigen Systems besteht in dem Verzicht auf Pumpen. So benötigt das Kühlsystem weniger bewegliche Teile. Bei den erforderlichen Kühlflüssigkeiten liegt der GWP-Wert allerdings höher. Dieser Wert gibt an, wie stark ein bestimmtes Treibhausgas zur globalen Erwärmung beiträgt, sollte er in die Atmosphäre entweichen. (Die Toxizität dieser Substanzen für Ökosysteme wird im GWP-Wert nicht erfasst, siehe dazu auch: „ 2-PIC hat viele Vorteile; Die EU-Big-Data-Energie- und Wasser­krise könnte der Vergangenheit angehören“).

Eine gewichtige Entscheidung: Krisenfest umrüsten

Die Serverkühlung kann aufgrund des hohen Energiebedarfs mehr als ein Drittel des gesamten Energieverbrauchs im Rechenzentrum ausmachen. Um ein zuvor luftgekühltes Rechenzentrum für den Einsatz krisenfester Flüssigkeitskühlung umzurüsten, müssen nicht nur Komponenten wie CDUs, Cold Plates, Tanks und Leitungen her, sondern auch Anpassungen an die bestehende IT-Infrastruktur und sogar bauliche Maßnahmen.

Interview mit Heiko Ebermann, Vertiv

„Etwas Luftkühlung bleibt fast immer“

Racks und Server brauchen Öffnungen für Leitungen und Platz für die Kaltplatten im Servergehäuse. Flüssigkeitskreisläufe, in denen ein Wasser-Glykol-Gemisch zirkulieren soll, müssen erhöhten Sicherheitsanforderungen entsprechen. Die Leitungen müssen korrosionsresistent sein und so verlegt werden, dass sie im Falle von Leckagen keine elektrischen Komponenten beschädigen können. Dielektrische Flüssigkeiten sind in dieser Hinsicht unproblematisch, weil sie nicht leiten.

Die Um- und Aufrüstung der Kühlung stellt eine gewichtige Entscheidung dar und zwar gleich im doppelten Sinne. Dieses Vorhaben kann nämlich die Tragekapazität der Gebäudestruktur und/oder des Doppelbodens herausfordern, insbesondere beim Einsatz von Tauchkühlung. Hier steigt die punktuelle Belastung durch die höhere Serverdichte und die erheblichen Mengen an Kühlflüssigkeit in den Tanks. Zudem müssen bei der Einführung robotergesteuerter Wartungssysteme ausreichende räumliche Kapazitäten für einen sicheren Betrieb gewährleistet sein.

Beim Einsatz von Flüssigkeitskühlung kann die traditionelle Aufteilung in Kalt- und Warmgänge teilweise entfallen, da die Wärme-Übertragung vornehmlich in einem geschlossenen System erfolgt. Dennoch ist eine teilweise Luftkühlung gegebenenfalls weiterhin notwendig, um einzelne Komponenten wie Netzteile in Direct-to-Chip-Systemen oder die Wärmelast der Tanks bei Tauchkühlung zu bewältigen.

Bei der Direct-to-Chip-Kühlung beträgt diese Restwärme etwa 20 Prozent der gesamten Wärmelast. Bei Tauchkühlung muss man mit etwa 5 Prozent Restwärme rechnen.

Wem die Entscheidung schwer fällt, wäre gut beraten, externe Expertise von Unternehmen wie Cloud&Heat, Megware, Prio1 GmbH, Rittal oder Schäfer IT-Systems in Anspruch zu nehmen.

Standarisierte Rollouts für hyperskalare Kühlleistung

Auch Hyperscaler müssen gelegentlich nach-, um- und aufrüsten. „Um dieses [hyperskalare] Wachstum technisch, wirtschaftlich und organisatorisch zu ermöglichen, sind Standardisierung und Skalierbarkeit durch Modularisierung sowie globale Verfügbarkeit unerlässlich“, argumentiert Lars Platzhoff, Leiter des Geschäftsbereichs Cooling Solutions beim globalen Lösungsanbieter Rittal GmbH & Co. KG aus dem hessischen Herborn. Die OCP-Standards sowie die Flüssigkeitskühlungen für IT-Racks von Rittal böten dafür aus seiner Sicht „eine hervorragende Grundlage“.

Hochleistungs-GPUs von Anbietern wie Nvidia und AMD, die in hyperskalaren Rechenzentren im großen Maßstab zum Einsatz kommen, erzeugen immense Mengen an Abwärme. Da hilft nur eins: „Die Hesse komme!“ (hessischer Dialekt, kein Tippfehler).

„Die Hesse komme!“

Auf dem OCP Regional Summit in Lissabon präsentierte Rittal eine neue innovative Modul-Plattform zur einphasigen direkten Flüssigkeitskühlung, die speziell für das „OCP Open Rack V3“ entwickelt wurde. Diese Plattform trumpft mit einer bemerkenswerten Kühlleistung von mehr als 1 Megawatt pro Rack, was sie für datenintensive Anwendungen und High-Performance-Computing-Umgebungen besonders nützlich macht.

Der Einsatz modernster Flüssigkeitskühlung ermöglicht es den Hyperscalern, ihre KI-Systeme weiter zu verdichten und die KI-Leistung zu steigern, ohne die Stabilität zu gefährden oder die Lebensdauer der Hardware aufs Spiel zu setzen. Der modulare Ansatz etwa der Rittal-Technik bietet den Betreibern erhebliche Vorteile. Zum einen erlaubt er eine schnelle Skalierbarkeit, so dass Unternehmen auf steigende Anforderungen flexibel reagieren können.

Single Phase Direct Liquid Cooling für KI- und HPC-Rechenzentren

Rittal bringt 1 Megawatt Kühlung in einem Rack unter

Zum anderen umfasst die Plattform nicht nur die Kühlung, sondern auch Stromversorgung und Monitoring, die direkt im Rack integriert werden. Dies sorgt für eine effizientere Energieverteilung und -nutzung sowie für eine präzise Überwachung der Systeme. Und das stellt eine wichtige Voraussetzung für die Optimierung der Wirtschaftlichkeit des Betriebs.

Die direkte Flüssigkeitskühlung ermöglicht eine effektivere Abführung der Wärme, was zur Reduktion des Energieverbrauchs beiträgt. Zudem werden Hotspots innerhalb der Server vermieden, und die Gesamteffizienz des Rechenzentrums steigt.

Das Rittal-System wurde in Übereinstimmung mit den Anforderungen des OCP Open Compute Project entwickelt. Das Projekt zielt darauf ab, standardisierte, kosten- und energieeffiziente Technologien für Rechenzentren bereitzustellen. Diese Entwicklung positioniert Rittal als Anbieter von hochleistungsfähigen Kühllösungen für die steigenden Anforderungen moderner Rechenzentren.

(ID:50174816)