Direct-to-Chip in Kombinationmit Luftkühlung Flüssigkeitskühlung für KI-Rechenzentren wird Mainstream

Anbieter zum Thema

Schneider Electric S.A.

Stäubli TEC-Systems GmbH Connectors

Schneider Electric GmbH

DAXTEN GmbH

Flüssigkeitskühlung entwickelt sich vom Nischenthema zum Mainstream-Ansatz für hochdichte KI-Infrastrukturen. Mittlerweile hat sich daher Direct-to-Chip (DLC)-Kühlung als bevorzugte und effiziente Methode etabliert. Doch wie funktioniert diese Kühlvariante?

Mit dem Aufkommen großer Sprachmodelle wachsen die infrastrukturellen Herausforderungen für Datacenter-Betreiber. Denn GPUs erzeugen so viel Wärme, dass traditionelle Luftkühlung an ihre Grenzen stößt. So übersteigt die Leistungsaufnahme einzelner GPUs mittlerweile 1.000 Watt und wird weiter zunehmen.

Wichtig zu erwähnen ist, dass dieser Trend genauso, für die weiteren Akzelleratoren (KI-Beschleuniger), wie die so genannten TPUs, von Google gilt. Flüssigkeitskühlung entwickelt sich deshalb vom Nischenthema zum Mainstream-Ansatz für hochdichte KI-Infrastrukturen.

GPUs mit 1400 Watt

Die Entwicklung verläuft rasant: Während „Nvidia V100“ noch mit 300 Watt auskam, erreicht die aktuelle Generation bereits über 1.000 Watt. Für kommende Generationen werden bis 1.400 Watt prognostiziert.

Kühlkörper, die bei klassischen CPUs zuverlässig funktionieren, würden bei diesen Leistungsdichten die Serverbauhöhe deutlich erhöhen und die Rack-Dichte reduzieren. Gerade für das Training moderner KI-Modelle ist das kritisch.

Eine leistungsfähige Alternative stellt das so genannte Liquid Cooling dar. Es leitet Wärme 23-mal besser als Luft und kann über 3.000-mal mehr Wärme aufnehmen. Für diese Kühlungsvariante existieren aktuell zwei Hauptansätze: Immersionskühlung mit dielektrischem Kühlmittel und Direct-to-Chip mit Cold Plates (Kühlplatten). Die Industrie bevorzugt derzeit eindeutig Direct-to-Chip wegen der Kompatibilität mit luftgekühlten Konfigurationen, einfacher Implementierung und regulatorischen Vorteilen.

Komponenten und Funktionsweise

Die Kühlplatten werden bei Direct-to-Chip direkt auf die GPUs montiert. Eine CDU-Pumpe (CDU = Coolant Distribution Unit) zirkuliert Kühlmittel durch die Kühlplatten. Sie nehmen die Wärme auf, ohne dass das Kühlmittel die Elektronik berührt.

Zudem ersetzen sie traditionelle Kühlkörper und minimieren den Bedarf an Server-Lüftern. Im Inneren der Kühlplatten optimieren Mikrokanäle den Wärme-Übergang. Diese sind jedoch anfällig für Verstopfungen durch Partikel ab 25 bis 50 Mikrometern. Daher ist eine hochgradige Filterung erforderlich.

Das ist auch zumeist eine Aufgabe der CDU. Sie verbindet aber auch die Flüssigkeitskühlung mit dem Gebäudekühlsystem. Ihre Hauptfunktion ist die Trennung des Server-Kreislaufs vom Gebäudewasser. Das ist notwendig wegen der empfindlichen Mikrokanäle.

Die Flüssigkeit muss höhere Qualitätsstandards erfüllen, weshalb die CDU die Filterung und Aufbereitung übernimmt. Weitere Funktionen sind Temperatur-, Durchfluss- und Druckregelung, um thermische Schocks zu verhindern.

Bei der Wärmeübertragung ist zwischen zwei Haupttypen zu unterscheiden: Liquid-to-Air (Flüssigkeit zu Luft) und Liquid-to-Liquid (Flüssigkeit zu Flüssigkeit). Ersteres nutzt einen luftgekühlten Wärmetauscher und gibt die Wärme an den Raumluftkühler ab. Der Vorteil liegt in der Integration in bestehende Infrastruktur, allerdings mit geringerer Effizienz.

Liquid-to-Liquid gibt die Wärme direkt an das Gebäudewassersystem ab und erreicht höhere Effizienz. Voraussetzung ist hierfür allerdings eine vorhandene Kaltwasser-Infrastruktur.

Architektur-Entscheidungen für die Praxis

Flüssigkeitskühlung muss als ganzheitliche Architektur betrachtet werden. Das Prinzip des Wärmeflusses von Chip bis zur Außenkühlung über drei Ebenen ist dabei entscheidend:

• 1. Kühlplatten nehmen die Hitze im Server auf,

• 2. die CDU übernimmt den Wärmetausch im Rechenzentrum und

• 3. die Wärme wird über Kältemaschine, Trockenkühler oder Kühlturm nach außen abgegeben.

Welche konkrete Umsetzung zum Einsatz kommt, hängt von Infrastruktur, Installationsgröße und Effizienz-Zielen ab. Retrofit-Projekte nutzen häufig bestehende Infrastruktur, während Neubauten von Beginn an eine Optimierung ermöglichen.

Bei der Bauform gibt es rack-montierte und bodenstehende CDUs. Die Vorteile von Rack-montierten Einheiten sind einfache Integration und Fehler-Isolation. Nachteile sind höhere Kosten pro Kilowatt und begrenzte Leistungsdichte.

Bodenmontierte CDUs versorgen hingegen mehrere Racks und führen zu geringeren Kosten bei großen Installationen und höheren Leistungsdichten. Der Installationsaufwand steigt jedoch durch den Anschluss an die Gebäudewassersysteme.

Interview mit Heiko Ebermann, Vertiv

„Etwas Luftkühlung bleibt fast immer“

Trotz Flüssigkeitskühlung bleibt Luftkühlung unverzichtbar. Direct-to-Chip kühlt die GPUs, andere Bauteile wie Speicher erfordern Luftkühlung. Zudem bleiben Storage- und Netzwerkgeräte, die Luftkühlung benötigen. In KI-Datacentern wird Flüssigkeitskühlung deshalb voraussichtlich mit Luftkühlung koexistieren.

Die Luftkühlungs-Kapazität wird dennoch wachsen, denn Flüssigkeitskühlung deckt nicht die gesamte thermische Last ab. Mit zunehmender Dichte steigt auch der absolute Bedarf an Luftkühlung.

(ID:50783023)