Im Datacenter von Noris Network wachsen Klima- und Energietechnik mit der IT 2.500 Watt/m2 und Kyoto Cooling im Rechenzentrum

Autor / Redakteur: Thomas Wienecke / Ulrike Ostler

Rechenzentren werden bisher komplett oder in wenigen großen Bauabschnitten gebaut – inklusive Energieversorgung und Klimatechnik. Die Folge: Anfangs ist alles überdimensioniert und der Betrieb unwirtschaftlich, später genügt die Anlage den IT-Ansprüchen nicht mehr. Wenn sich Rechenzentrumsinfrastruktur „modular und skalierbar“ nennt, klingt das vielversprechend. Noris Network baut genau so:

Anbieter zum Thema

Das Rechenzentrum von Noris Network ist an seiner gesamten Vorder- und Rückseite jeweils mit kombinierten, autarken Klima- und Energiezellen versehen.
Das Rechenzentrum von Noris Network ist an seiner gesamten Vorder- und Rückseite jeweils mit kombinierten, autarken Klima- und Energiezellen versehen.
(Bild: Noris Network)

Mehr Rechenleistung bedeutete mehr Abwärme. In älteren Rechenzentren müssen daher heute oft drei Viertel der Racks freigelassen werden, damit sich die Wärme nicht staut.

Vielfach werden dann spezielle High-Density-Bereiche mit zusätzlicher Strom- und Klimaversorgung aufgebaut. In diesen Bereichen werden meist nachträglich Systeme aufgebaut, die Wasser zur Kühlung einsetzen. Doch Wasser auf IT-Flächen?

Wie lassen sich diese grundsätzlichen Probleme von Anlagen für sich schnell entwickelnde IT-Technologien lösen? Dies war die Frage, die man sich beim Nürnberger Datacenter-Betreiber Noris Network stellte und mit dem Rechenzentrum „NBG6“ beantwortete, das derzeit auf einer Fläche von 11.000 Quadratmetern entsteht.

Energie und Kühlungsmodule

Der erste Bauabschnitt wurde Ende 2011 fertig gestellt, mit allen Sicherheitseinrichtungen wie Zutrittskontrolle und Brandverhinderung. Besonders allerdings ist: Energieversorgung und Kühlung werden erst nach und nach hinzugefügt, praktisch parallel mit der Auslastung der IT-Flächen durch Kunden. Einer der ersten Nutzer ist beispielsweise das einzige europäische Oracle Exastack-Testzentrum.

Die gewünschte Skalierbarkeit bei Klimatechnik und Energieversorgung erfordert eine spezielle Architektur: Auf den Längsseiten der Anlage ist zwischen Außenwand und Rechenzentrumsfläche eine Zeile mit völlig gleichartigen Räumen vorgesehen. Nur die ersten Räume wurden für die Grundversorgung des Rechenzentrums bereits ausgebaut.

Mit zunehmender Auslastung der Fläche werden dann nach und nach in die weiteren Räume standardisierte, autarke Energieversorgungs- und Kühlzellen eingebaut. Ohne Einfluss auf den RZ-Betrieb können die Zellenpaare entsprechend dem Energie- und Kühlungsbedarf nachgerüstet werden.

Bildergalerie
Bildergalerie mit 7 Bildern

Zellenpaare genügen dem Tier-3-Redundanzprinzip

Der Einbau erfolgt komplett von außen – nach dem Tier-3-Redundanzprinzip: n+1 ist immer mindestens ein Zellenpaar mehr als benötigt (optional auch 2 × n+1, sollte ein Nutzer das wünschen).

Jede dieser Zellen hat eine Grundfläche von 12 × 7,50 Meter und reicht über zwei Etagen. Klimazelle und Energiezelle wechseln sich ab.

Jede Energiezelle mit Anschluss an zwei unabhängige Stromleitungen enthält einen Trafo, eine Schaltanlage sowie eine USV-Anlage (USV = Unterbrechungsfreie Stromversorgung) mit sechs 200-Kilovolt-Amper-Modulen und einen Dieselgenerator. Die redundante Versorgung der Server erfolgt über Stromschienen in der Decke.

Dicht gestellt und frei gekühlt

Zwischen Quelle und Verbraucher liegen nie mehr als 20 Meter. Die Energiezellen sind so dimensioniert, dass auch Reihen von High-Density Racks mit 18 Kilovolt-Amper und mehr IT-Load möglich sind.

Im NBG6 lassen sich so bis zu 2.500 Watt pro Quadratmeter auf die Fläche bringen – üblich sind heute in Rechenzentren in der Regel Leistungen von 1.000 bis 1.800 Watt pro Quadratmeter. Die Stellkapazität der Racks soll so von den Kunden des Housing- und IT-Outsourcing-Dienstleisters lückenlos genutzt werden können.

Derzeit hat das Rechenzentrum zwei Klima-/Energie-Module, im Endausbau werden es 18 für jeden der drei Bauabschnitte sein, also 18 autarke USV-Anlagen und 18 Notstromdiesel. Die Skalierbarkeit bezieht sich aber nicht nur auf steigenden Bedarf.

An- und Ausknipsen des Stroms

Kühlungs- wie auch Stromversorgungseinheiten werden je nach Auslastung auch abgeschaltet. Über Transferschalter kann unterbrechungsfrei zwischen den Zellen umgeschaltet werden.

So werden die einzelnen Energiezellen – bis auf die letzte zugeschaltete – jeweils im optimalen Betriebspunkt betrieben, unabhängig davon, wie viele Verbraucher bereits im Rechenzentrum stehen. Sollte der Energiebedarf durch Energie-effizientere Hardware geringer wachsen als erwartet, bleiben Versorgungsmodule einfach ungebaut oder ungenutzt und die Betriebskosten sinken.

Die Physik lehrt...

Wie können einzelne Kühlzellen die Rechenzentrumsfläche so kühlen, dass sie komplett für High-Density Racks oder anspruchsvolle Systeme wie die erwähnten Exadata Database Machines genutzt werden kann?

Die Physik lehrt uns: Die Wärmetransportleistung errechnet sich aus den Faktoren der Temperaturspreizung und des Volumenstroms. Das heißt, je geringer die Temperaturspreizung, also der Temperaturunterschied zwischen Lüftungseinlass und Lüftungsauslass des IT-Equipments, desto mehr Luft muss herangeführt werden.

Bildergalerie
Bildergalerie mit 7 Bildern

Klassische Rechenzentren sind mit doppeltem Boden mit 80 bis 120 Zentimeter Abstand ausgestattet. In diesem Zwischenraum wird Kaltluft unter hohem Druck zu den Racks geführt und strömt dann in den „Kaltgängen“ aus Gittern oder Bodenöffnungen an den Racks vorbei nach oben.

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu RZ- und Server-Technik

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung.

Aufklappen für Details zu Ihrer Einwilligung

Dopplete Decke, statt doppelter Boden

Anders beim neuen Nürnberger Rechenzentrum, hier gibt es statt eines doppelten Bodens eine doppelte Decke. Die gekühlte Luft strömt direkt aus den Klimazellen auf die IT-Fläche mit 3 Meter Raumhöhe und die Warmluft wird über einen 3,5 Meter hohen Abluftbereich in der Decke abgeführt.

Der Volumenstrom ist dadurch so groß, dass die Luft nur mit sehr geringem Druck herangeführt werden muss. Jede Kühlzelle bewegt bis zu 200.000 Kubikmeter Luft in der Stunde.

Diese große Luftmenge fließt dank des freien Strömungsquerschnitts auf der IT-Fläche und in der Decke fast ungehindert. Genau hier liegt der Vorteil des Kühlkonzepts im NBG6. Ähnlich wie das Wasser im Swimmingpool vermischt sich die sanft bewegte kühle Luft auf der IT-Fläche, so dass jede Klimazelle jede andere ersetzen oder ergänzen kann.

Kyoto-Kühlung: Big wheels keep on turning

Auch die Klimazellen im neuen Rechenzentrum von Noris Network funktionieren nach einem neuartigen Prinzip: Kyoto Cooling. Die Klimazelle ist horizontal und vertikal in vier Bereiche geteilt. Herzstück ist ein radförmiger Wärmetauscher aus Aluminium mit einem Durchmesser von 6 Metern.

Dieses „Kyoto-Rad“ (siehe: Bildergalerie) dreht sich horizontal auf Höhe der Zwischendecke mit gemächlichen 3 bis 10 Umdrehungen in der Minute. Es ist zugleich die einzige Verbindung zwischen zwei vertikal getrennten Räumen: Im RZ-zugewandten Raum ziehen drei Ventilatoren die warme Abluft aus dem Bereich über dem Server-Raum ab, drücken sie durch die Rippen des Kyoto-Rads, woraufhin sie abgekühlt im unteren Teil wieder zurück auf die IT-Fläche strömt.

In dem der Außenwand zugewandten Teil wird ebenfalls mit drei Ventilatoren Frischluft angesaugt und durch das Rad geführt, um die im anderen Raum aufgenommene Wärme-Energie abzuführen. Für die Kühlung wird also Außenluft verwendet, die aber nicht ins Rechenzentrum gelangt.

Effiziente Nutzung …

So muss man sich um Feuchtigkeit oder Staubgehalt der Außenluft nicht kümmern. Mit diesem regelbaren hochvolumigen Wärmetauschverfahren schaffen die Kühlzellen jeweils 850 Kilowatt Kühlleistung. Das gilt für fast jedes Wetter und so kommen die Kühlzellen im Schnitt an über 330 Tagen im Jahr ohne jede kostentreibende Kompressorkühlung aus.

Beim Bau der heute genutzten Rechenzentren hatte man nicht mit der Leistung zum Beispiel heutiger Blade-Server gerechnet. Wer heute für den zukünftigen Bedarf baut, müsste zum Beispiel wissen, wie viel Strom Server in etwa drei, fünf und zehn Jahren verbrauchen oder wie sich die Anteile von Festplatten und SSDs entwickeln. Besonders schwer ist dabei der Kühlbedarf zu prognostizieren und zumindest für die klassische Methode der Kühlung durch den Boden muss man sich beim Bau auf eine gewisse Spanne an IT-Load festlegen.

Bildergalerie
Bildergalerie mit 7 Bildern

Die von Noris Network im NBG6 gewählte Methode dürfte vor allem wegen der größeren Flexibilität Nachahmer finden: Der sukzessive modulweise Ausbau auch innerhalb eines Bauabschnitts und die Regelbarkeit der Kühlung über die einzelnen Module erlauben es, ein Rechenzentrum auch dann Energie-effizient zu betreiben, wenn es erst teilweise belegt ist. Gleichzeitig ist wortwörtlich Luft nach oben bis hin zur intensiven Nutzung mit eng stehender Hochleistungshardware.

… von Anfang an

Es gibt Rechenzentrumskosten, die nicht oder sehr wenig von der Auslastung abhängen: Beleuchtung, Personalkosten, zentrale Sicherheitseinrichtungen, OxyReduct- und Stickstofflöschanlage, Monitoring, Wachdienst, biometrische Zugangskontrolle mit Vereinzelung und so weiter. Der Kostenfaktor Energie für Klima und Stromversorgung kann aber durch den beschriebenen modularen Aufbau sehr direkt mit der tatsächlichen IT-Load des Rechenzentrums gekoppelt werden.

Zuletzt stellt sich die Frage, wie effizient die modulare Versorgung und freie Kühlung tatsächlich ist. Die Effizienz von Rechenzentren wird über die Kennzahl Power Usage Effectiveness (PUE) erfasst: Gesamtenergieverbrauch/Energieverbrauch der IT-Systeme.

Für Hochverfügbarkeitsrechenzentren sind derzeit Werte knapp unter 2, für andere moderne Rechenzentren Werte zwischen 1,5 und 1,8 gute Benchmarks. Noris Network hat bereits wenige Monate nach der Eröffnung des Hochverfügbarkeitsrechenzentrums und erst beginnender Auslastung die Verbrauchswerte bestimmt: Der PUE lag unter 1,2! Ein deutlicher Hinweis darauf, dass das modulare, skalierbare Konzept aufgeht.

Der Autor:

Thomas Wienecke ist Senior Pre-Sales Consultant bei der Noris Network AG.

(ID:34872680)