Kalte Luft durch die Hintertür Luftkühlung reicht oftmals für KI-Engines

Anbieter zum Thema

Legrand - Soest (D)

DAXTEN GmbH

EPS Rechenzentrum Infrastruktur GmbH

ConSysTech GmbH

Mit Künstlicher Intelligenz hält High-Performance-Computing Einzug in viele Rechenzentren, die bisher kaum damit in Berührung kamen. Entsprechend ist die Rechenzentrumsinfrastruktur nur unzureichend dafür ausgelegt. Dies gilt insbesondere für die Kühlung der hochintegrierten Server für KI-Anwendungen.

Praktisch alle Unternehmen setzen heute Künstliche Intelligenz (KI) zur Optimierung von Unternehmensprozessen ein. Oft nutzen sie eigene KI-Engines, um Antwortzeiten zu verkürzen und das Knowhow im Unternehmen zu halten.

In klassischen Rechenzentren sind die IT-Racks für Kühllasten bis etwa 20 Kilowatt ausgelegt. Doch KI-Engines können je nach Chipdichte im Server-Schrank 40 Kilowatt bis weit über 200 Kilowatt Kühlleistung benötigen.

Dies ist mit reiner Luftkühlung praktisch nicht mehr umsetzbar, außer man verteilt die Server weiträumig im Rechenzentrum. Doch dazu benötigt man Platz, und der ist in Rechenzentren meist ein hohes Gut.

Integration des Luftstrom-Managements in den IT-Schrank

Wer seine Kühlinfrastruktur in einem bestehenden Rechenzentrum sukzessive für höhere Kühllasten aufrüsten möchte, kann zunächst einmal damit beginnen, den Luftstrom in den IT-Schränken mit hohem Leistungsbedarf zu optimieren. Dies gewährleistet, dass die kühle Luft ohne Verluste direkt an die zu kühlenden Komponenten in die Schränke geführt wird.

Dazu werden diese Schränke hermetisch abgedichtet. Außerdem optimieren Luftleitbleche den Luftstrom im Schrank, damit dieser möglichst ungehindert zu den Chipsets der Server strömt. Zudem verhindern sie Verwirbelungen und Rückzirkulationen der kühlenden Luft. Eine Airflow-Control-Lösung vermeidet somit Hitzenester und erhöht die Kühleffizienz.

In Kalt- und Warmgang-Einhausungen, bei denen die Serverschränke mit einem solchen Luftstrom-Management ausgestattet sind, lassen sich im besten Fall über 30 Kilowatt Kühlleistung pro Schrank umsetzen. Das reicht für kleinere HPC- oder KI-Anwendungen. Die Integration eines solchen Luftstrom-Management-Pakets rechnet sich selbst ohne KI-Engine, um die Energie-Effizienz eines Rechenzentrums zu optimieren.

Zusätzliche Rücktürkühlung für bis zu 200 Kilowatt Kühlleistung

Darüber hinaus bieten sich Schränke an, deren Rücktür mit einem Wärmetauscher ausgestattet ist. Diese Rücktürkühlung kühlt das Schrankinnere besonders effektiv direkt am Entstehungsort der Wärme mit Kaltwasser.

Legrand Data Center Solutions hat beispielsweise mit „AI POD“ solche Schränke mit einem „USystems Rear Door Heat Exchanger“ (RDHX) auf den Markt gebracht. Die passive Variante nutzt dabei den vorhandenen Luftstrom der Serverlüfter. Damit lassen sich bis zu 29 Kilowatt Wärme aus einem IT-Rack transportieren.

Rücktüren mit aktivem RDHX sind zusätzlich mit geregelten Ventilatoren ausgestattet. Die integrierte „Coldlogic“-Management-Software des Herstellers kann diese dediziert ansteuern und die Temperatur über die Stärke des Luftstroms regeln. Weitere Stellgrößen sind die Raum- und Wassertemperatur sowie die Durchflussgeschwindigkeit.

Vom Plan zur Umsetzung

5 Hindernisse beim Aufbau eines flüssiggekühlten KI-Rechenzentrums

Interview mit Heiko Ebermann, Vertiv

„Etwas Luftkühlung bleibt fast immer“

Legrand Data Center Solutions hat, abgestimmt auf den jeweiligen Kühlbedarf, zwei aktive „USystems Cold Logic“ Rücktüren im Programm: „CL20“ eignet sich zum Beispiel ohne Airflow-Control-System für Wärmelasten bis 70 kW und mit dieser Schrankausstattung für über 90 Kilowatt. Aus diesem Grund verwendet der Hersteller für AI PODs in der Regel IT-Schränke der „Minkels Nextpand“-Serie mit integriertem Airflow Control.

CL23 HPC Active ist für Wärmelasten bis 200 Kilowatt und darüber hinaus einsetzbar. Hier ist das Airflow-Control-System unverzichtbar. Diese Lösung erzielt bei maximaler Auslastung einen Energie-Effizienzwert (EER) von über 100, spart also erheblich Energie ein.

Die voll abgedichteten AI-Pod-Schränke mit Luftstrom-Management und Rücktürkühlung können offen in einer Rechenzentrumsumgebung aufgestellt werden, wobei die erwärmte Luft durch den Schrank gesaugt und entsprechend gekühlt aus dem Schrank direkt in den Raum geleitet wird (siehe: Abbildung).

Sie besitzt dann genau oder etwas weniger als die vorab festgelegte Raumtemperatur und diese ist so eingestellt, dass sie die Elektronik im AI POD ausreichend kühl hält. Die in der Rücktür integrierte Cold-Logik-Intelligenz steuert dabei die luftunterstützte Wasserkühlung und hält die Umgebungstemperatur automatisch auf dem energieeffizientesten Punkt der Kühllösung.

Beispielkonfiguration für 200 Kilowatt Wärmeabfuhr

Damit eine „CL23“ HPC Active Rücktür ihre volle Leistungsfähigkeit von über 200 Kilowatt ausschöpfen kann, sollte diese zum Beispiel mit 14 Grad kaltem Wasser bei einem hohen Volumenstrom von 15,27 Kubikmeter pro Sekunden bzw. 4,27 Liter pro Sekunde versorgt werden. Die hinter der Wasserkühlung montierten Lüfter saugen die von der Elektronik auf 65 Grad erwärmte Luft durch die Schleifen des kalten Wasserschlauchs, wo sie auf 15 Grad herunter gekühlt wird.

Die Ventilatoren blasen diese Kaltluft in die Umgebungsluft, wo sie dann wieder als kühlender Luftstrom in den Schrank gesaugt werden kann. Das erwärmte Wasser, das aus dem Schrank zur Rückkühlung geleitet wird, hat eine Temperatur von 20 Grad.

In vorhandene Infrastrukturen integrierbar

Der große Vorteil der Rücktürkühlung ist, dass sie sich anders als andere flüssigkeitsbasierte Kühllösungen einfach in die vorhandene Rechenzentrumsinfrastruktur integrieren lässt. Der Wärmetauscher der Rücktür nutzt das Rücklaufwasser oder Kältemittel aus einem vorhandenen Kühl- und Kältesystem. Bei ganzjähriger Kühlung im Freien, lässt sich damit der Energieverbrauch für die Kühlung im Rechenzentrum um über 90 Prozent senken.

Die AI Pods beispielsweise können in Schrankreihen integriert oder separat ohne zusätzliche Kühlluft gestellt werden. Bei Einhausungen empfiehlt es sich, diese Schränke separat aufzustellen, damit sie die Kaltluft, die die Rücktür abgibt, auch nutzen können.

Da die Lösung komplett in die Tür integriert ist, bleibt die Rückseite des Schranks weiterhin gut zugänglich. Bei Bedarf können vorhandene Schränke mit einer RDHX-Rücktür nachgerüstet werden. Die Flüssigkeitskühlung direkt am Schrank über ein geschlossenes Kreislaufsystem spart somit Platz im Rechenzentrum, Investitions- und Betriebskosten sowie enorm an Energie ein.

Alternative Flüssigkühlungen für KI-Anwendungen

Manche Chiphersteller optimieren ihre Chipsets für Direct-on-Chip Cooling. Dabei werden mit einer Kühlflüssigkeit gefüllte Kühlelemente direkt auf den Hochleistungs-Chips positioniert. Diese punktuelle Lösung direkt auf den Chips kann etwa 20 bis 50 Kilowatt aus einem Schrank abführen. Alle anderen Komponenten im Schrank benötigen weiterhin die Luftkühlung.

Für Ultra-High-Density-Umgebungen wie Supercomputer in Forschungszentren oder für Neubauten von Hyperscale-Rechenzentren bietet sich darüber hinaus Immersion Cooling an. Hier werden die Server mit den Hochleistungs-Chips in eine nichtleitende Kühlflüssigkeit getaucht. Auf diese Weise können bis zu 400 Kilowatt Wärme abgeführt werden.

Anders als bei der Direct-on-Chip Cooling werden nicht nur die Chipsets gekühlt. Im Grunde kann man alle energieintensiven Komponenten in Tanks mit der Kühlflüssigkeit halten. Dann ist auch keine Luftkühlung mehr notwendig. Das reduziert den Energiebedarf enorm.

'Mal unter uns: Wasserkühlung einfach erklärt

Die Unterschiede zwischen Direct-to-Chip, einphasiger und zweiphasiger Kühlung

Allerdings erschwert sich damit die Wartung, weil defekte oder veraltete Komponenten aus der Kühlflüssigkeit entnommen und neue dort installiert werden müssen. Das geht nicht ohne Ausfallzeiten und entsprechendes Fachwissen.

Diese Lösung erfordert hohe Anfangsinvestitionen, und das Gebäude muss für hohe Traglasten ausgelegt sein, da die flüssigkeitsgefüllten Tanks Tonnen wiegen können. Hinzu kommt der erhöhte Wartungsaufwand bei den so gekühlten Geräten. Immersion Cooling ist dafür aber unschlagbar Energie-effizient.

Schrittweise Erhöhung der Kühlleistung

Für eine sukzessive Umstellung auf höhere Rechen- und damit Kühllleistung bietet sich das Direct-on-Chip-Cooling an. Diese kühlt punktuell zusätzlich über einen speziellen Kühlkreislauf mit nicht leitendem Kühlmittel und erfordert weiterhin die Luftkühlung.

Die effizientere Alternative sind AI Pods mit Rücktürkühlung. Sie benötigen keine allgemeine Raumklimatisierung, lassen sich aber in klimatisierte Umgebungen integrieren. Sie stehen separat oder fügen sich in jede bestehende Rechenzentrumsinfrastruktur ein.

Der zugehörige Kühlwasserkreislauf lässt sich in den Kreislauf der vorhandenen Klimaanlage integrieren. Mit AI Pods halten sich die Investitionskosten und der Platzbedarf im Rahmen. Zudem lassen sich damit enorm Energiekosten einsparen.

Legrand Data Center Solutions stattet die AI Pods auf Wunsch zusätzlich mit intelligenten High-end-PDUs aus. Ergänzend dazu können Infrastrukturkomponenten wie Stromschienen, die sich für derart hohe für Energielasten eignen, mitgeliefert werden oder für HPC-Umgebungen ausgelegte Verkabelungskomponenten.

(ID:50621356)