Rundgang bei Equinix in Frankfurt – „FR6“ Direct-to-Chip-Kühlung – So baut Equinix die Infrastruktur auf

Von Paula Breukel 5 min Lesedauer

Anbieter zum Thema

Equinix betreibt in Frankfurt drei Kühlverfahren parallel. Bei einem Rundgang durch das Rechenzentrum zeigt sich, wie Direct-to-Chip-Kühlung technisch funktioniert und wo ihre Grenzen liegen.

Work in progress: Der Rechenzentrumsentwickler und -betreiber Equinix zeigte beim Rundgang den aktuellen Baufortschritt am „FRA6“.(Bild:  Paula Breukel)
Work in progress: Der Rechenzentrumsentwickler und -betreiber Equinix zeigte beim Rundgang den aktuellen Baufortschritt am „FRA6“.
(Bild: Paula Breukel)

Auf den ersten Blick ist die Kühlung in den Hallen von Equinix nicht immer sichtbar. In den Hallen kommen unterschiedliche Verfahren zum Einsatz, die sich vor allem darin unterscheiden, wo und wie die entstehende Wärme abgeführt wird.

Bildergalerie
Bildergalerie mit 7 Bildern

Welches Verfahren für eine Anwendung infrage kommt, hängt laut Peter von Dietze, Managing Director Equinix Deutschland, vor allem von der Leistungsdichte ab: Am häufigsten komme die Cold-Aisle-Kühlung zum Einsatz. Rear Door Heat Exchanger lassen sich auch nachrüsten. Dafür muss das entsprechende Rack angepasst werden. Die Direct-to-Chip-Kühlung dagegen erfordere einen tieferen Eingriff in die Infrastruktur. Das Herzstück dieser Kühlmethode ist die Coolant Distribution Unit (CDU).

Die Kühlmethoden in der Übersicht:

Cold Aisle

Beim Cold-Aisle-Konzept werden die Server-Racks so angeordnet, dass ihre Vorderseiten einen Kaltgang bilden. Die gekühlte Luft strömt von dort in die Server, während die erwärmte Abluft auf der Rückseite in einen getrennten Warmgang gelangt. Durch diese Trennung soll eine Vermischung von Zu- und Abluft verhindert werden.

Rear Door Heat Exchanger

Beim Rear Door Heat Exchanger (RDHx) befindet sich ein Wärmetauscher direkt in der Rücktür des IT-Racks. Die von den Servern erwärmte Abluft strömt durch den Wärmetauscher und gibt ihre Wärme an einen Flüssigkeitskreislauf ab, bevor die Luft wieder in den Whitespace gelangt. Die Wärme wird damit direkt am Rack abgeführt, ohne dass die gesamte Raumluft stark gekühlt werden muss.

Direct-to-Chip

Beim Direct-to-Chip-Cooling wird die Wärme direkt von Komponenten wie CPUs und GPUs abgeführt. Um das zu ermöglichen, befindet sich das Kühlelement direkt auf dem Chip. Die Flüssigkeit nimmt die entstehende Wärme auf und transportiert sie weg vom Server. Doch Direct-to-Chip wird häufig als Kombination aus Flüssigkeits- und Luftkühlung eingesetzt, da andere Komponenten teilweise weiterhin Luftkühlung benötigen.

Was macht eine CDU?

Hier zu sehen: Die getrennten Warm- und Kaltleitung. Diese sind auch farblich markiert.(Bild:  Paula Breukel)
Hier zu sehen: Die getrennten Warm- und Kaltleitung. Diese sind auch farblich markiert.
(Bild: Paula Breukel)

Pumpen und Sensoren bilden zentrale Komponenten der CDU. Kontinuierlich werden Durchfluss, Druck und Temperatur überwacht. Ein Equinix-Techniker beschreibt die CDU als zentrale Steuereinheit der Anlage.

Denn sie bildet die Schnittstelle zwischen der Kaltwasserversorgung des Rechenzentrums und dem Flüssigkeitskreislauf der IT. Primär- und Sekundärkreislauf sind voneinander getrennt; die CDU regelt dabei den Flüssigkeitsstrom zum Rack.

Das Kühlmittel wird mit einer Vorlauftemperatur von 24 Grad Celsius zu den Servern geführt. Die Rücklauftemperatur liegt je nach Auslastung der IT zwischen 28 und 30 Grad Celsius. Die Betriebsparameter sind dabei so abgestimmt, dass die Flüssigkeitskühlung optimal mit den weiteren Kühlsystemen des Rechenzentrums zusammenarbeitet. Das System ist geschlossen aufgebaut und als Kühlmedium kommt Wasser zum Einsatz.

Seitliche Luftführung verändert die Hallenplanung

Im „FR6“ zeigt sich auch, wie sich die Bauweise von Rechenzentren verändert hat: Peter von Dietze führt aus, dass früher die Kaltluft vor allem über den Doppelboden zugeführt wurde. Heute kommen Kühlkonzepte mit seitlicher beziehungsweise wandnaher Luftführung zum Einsatz – das verändert auch die Anordnung auf dem Whitespace.

Bestehende Rechenzentren werden aufgrund des hohen Investitions- und Betriebsaufwands meist nicht grundlegend umgebaut. Bei einer größeren Modernisierung, Neubauten oder zum Ende der Lebensdauer des Gebäudes werden neue Konzepte umgesetzt.

In der Praxis ist Direct-to-Chip-Kühlung noch die Ausnahme

Anwendungen der Künstlichen Intelligenz (KI) erhöht die Leistungsdichten, Flüssigkeitskühlung gilt deshalb in der Branche als zunehmend relevant. In der Praxis ist sie bei Equinix allerdings noch längst kein Standard: Laut Managing Director setzt bislang nur ein kleiner Teil der Kunden tatsächlich auf Direct-to-Chip-Kühlung. Von Dietze geht davon aus, dass sich das in den kommenden Jahren ändert.

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu RZ- und Server-Technik

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Direct-to-Chip ersetzt die Luftkühlung nicht zwangsläufig vollständig. Während CPUs und GPUs direkt mit Flüssigkeit gekühlt werden, können andere Komponenten weiterhin auf Luftkühlung angewiesen sein.

FR6 ist deshalb auf höhere Leistungsdichten vorbereitet. Kunden mit entsprechendem Kühlbedarf können in Bereichen untergebracht werden, in denen die dafür erforderliche Infrastruktur bereits vorhanden ist.

So senkt Equinix den Stromverbrauch der Kühlung

Direct-to-Chip ist zwar auf hohe Leistungsdichten ausgelegt, aber laut von Dietze kommt es für einen effizienten Rechenzentrumsbetrieb nicht allein auf die eingesetzte Kühltechnik an. Auch die Steuerung der vorhandenen Infrastruktur bietet Potenzial, den Energieverbrauch zu senken. Die Direct-to-Chip-Kühlung ist ein Baustein der gesamten Kälteversorgung: In FR6 gehören unter anderem Kältemaschinen, Pumpen, Hybridkühler, Wärmetauscher und Pufferspeicher zur Infrastruktur.

Um den Stromverbrauch der Kühlung zu senken, setzt Equinix unter anderem auf KI: Gemeinsam mit Etalytics arbeitet der Betreiber daran, die Kühlinfrastruktur bedarfsgerecht zu steuern und damit ihren Energieverbrauch zu reduzieren. Equinix berichtet, dass der Einsatz von KI in FR6 den Energieverbrauch um 900 Megawattstunden (MWh) pro Jahr reduziert hat und die Power Usage Effectiveness (PUE) dort bei etwa 1,2 liegt.

Die KI optimiert den Betrieb des Kühlsystems. Dazu werden Echtzeitdaten ausgewertet und Sollwerte automatisch angepasst. Betroffen sind unter anderem Pumpen, Kältemaschinen, Wärmetauscher, Hybridkühler und weitere Komponenten der Kälteversorgung. Ziel ist, die einzelnen Systeme aufeinander abzustimmen und so den Energieverbrauch zu reduzieren.

Näheres zu Etalytics:

Das Darmstädter Start-up Etalytics wurde 2020 gegründet und die Zusammenarbeit mit Equinix am Frankfurter Standort „FR6“ besteht seit demselben Jahr, noch vor Inkrafttreten gesetzlicher Energieeffizienzvorgaben für Rechenzentren. Im Zentrum steht die KI-basierte Software „Etaone“, die die für die Kühlung benötigte Energiezufuhr überwacht und optimiert.

Für die Ergebnisse des Pilotprojekts wurde Equinix 2023 mit dem Energy Efficiency Award der Deutschen Energie-Agentur (Dena) ausgezeichnet. Inzwischen ist die Zusammenarbeit auf weitere Frankfurter Equinix-Standorte ausgeweitet worden, darunter „FR4“, „FR8“ und „FR2.6“.

Equinix betreibt in Frankfurt neun Rechenzentren

Peter von Dietze, Managing Director Equinix Deutschland, nahm sich viel Zeit für den ausführlichen Rundgang und gab Paula Breukel, DataCenter-Insider, umfassende Einblicke in das Rechenzentrum.(Bild:  Paula Breukel)
Peter von Dietze, Managing Director Equinix Deutschland, nahm sich viel Zeit für den ausführlichen Rundgang und gab Paula Breukel, DataCenter-Insider, umfassende Einblicke in das Rechenzentrum.
(Bild: Paula Breukel)

Die technischen Anforderungen an die Kühlung treffen in Frankfurt auf einen zunehmend ausgelasteten Rechenzentrumsstandort. In Frankfurt werden die verfügbaren Flächen knapp. Nach Angaben von Equinix sind die verfügbaren Flächen für Rechenzentren am Standort Frankfurt zwischen 2022 und 2025 nahezu vollständig belegt worden.

Damit gewinnt für den Betreiber neben der Erweiterung bestehender Standorte auch deren Effizienzsteigerung an Bedeutung. Nach Angaben von Equinix betreibt das Unternehmen in Frankfurt neun Rechenzentren mit mehr als 60.000 Quadratmetern Colocation-Fläche.

Auf Nachfrage führt von Dietze aus, dass Equinix auch eine Erweiterung in anderen Bundesländern in Betracht zieht. Die Zusammenarbeit mit der Stadt Frankfurt bei der weiteren Standortentwicklung bezeichnet Peter von Dietze als konstruktiv.

Aktuell baut das Unternehmen die Infrastruktur für verteilte KI-Inferenz aus

Gemeinsam mit Nvidia und Together AI hat Equinix den Ausbau der „Equinix Inference Exchange“ angekündigt. Die Plattform soll KI-Inferenz näher an Daten, Anwendungen und Nutzer bringen und dabei Rechenzentren, Cloud-Anbieter, Netzwerke und KI-Infrastrukturen über „Equinix Fabric“ verbinden.

Für die Infrastruktur kombiniert das Konzept „Nvidia Enterprise Reference Architectures“ mit der Inference-Plattform von Together AI. Equinix stellt dafür die Rechenzentrumsinfrastruktur inklusive Stromversorgung, Kühlung und Betrieb bereit. Vorgesehen sind mandantenfähige und dedizierte Umgebungen.

Inference soll näher an den jeweiligen Daten und Anwendern stattfinden. Das betrifft damit auch Anforderungen an Standortwahl, Latenz, Stromversorgung, Kühlung und Netzwerkanbindung. Insbesondere für regulierte Branchen gelten außerdem auch Vorgaben darüber, wo Daten und Inferenz verarbeitet werden müssen. Ab dem ersten Quartal 2027 soll Equinix Inference Exchange verfügbar sein.

(ID:50943488)