Von Strom bis Kühlung – Experton betrachtet die technische RZ-Infrastruktur Sicherheit für hochverfügbare Rechenzentren

Autor / Redakteur: Wolfgang Heinhaus / Ulrike Ostler

Hochverfügbarkeit in Rechenzentren heißt auch Schutz vor Überhitzung, Stromausfall, unberechtigtem Eindringen, Diebstahl, Vandalismus, Anschläge und Sabotage. Doch bei so manchem Datacenter liegt einiges im Argen.

Firmen zum Thema

Hier rechnet der viertgrößte Super-Computer der Welt unter Top-Bedingungen: "SuperMUC" des Leibniz-Rechenzentrum in Garching, der kürzlich in Betrieb ging.
Hier rechnet der viertgrößte Super-Computer der Welt unter Top-Bedingungen: "SuperMUC" des Leibniz-Rechenzentrum in Garching, der kürzlich in Betrieb ging.
(Bild: LRZ)

In vielen Unternehmen hat das Datacenter keine redundante autarke Stromversorgung. Oft fehlt eine Netzersatzanlage, kurz „NEA“ oder „Diesel“ genannt. Fällt der Strom aus, ist auch der Betrieb des Datacenter unterbrochen. Diese Konstellation stellt bei den heutigen Ansprüchen an ein hochverfügbares Data Center eine unsichere Situation dar.

Was muss realisiert werden, um das Ziel der Hochverfügbarkeit zu erreichen?

Die Voraussetzung für das Betreiben eines Rechenzentrums ist eine eigene sichere Stromversorgung. Dabei beginnt die Bereitstellung der Stromversorgung beim Energieversorgungsunternehmen (EVU). Der Strom wird über Leitungen zu den Umspannwerken transportiert. Von dort aus erfolgt die Einspeisung in das Gebäude des Stromabnehmers.

Zwei Stromquellen sorgen für Hochverfügbarkeit

Der Strom sollte aus Sicherheitsgründen von zwei unterschiedlichen EVU über weit auseinander liegende Umspannwerke eingespeist werden. Die Stromeinspeisung erfolgt dabei über zwei differenzierte Stränge mit gleicher Leistungsaufnahme.

Damit ist eine vollständige Redundanz von den Kraftwerken bis zum Datacenter erreicht. Dies ist eine Voraussetzung für die Hochverfügbarkeit.

Fällt der Strom von einem Versorger aus, so übernimmt der zweite die volle Last.

Stromausfälle können verursacht werden durch:

  • Stromausfall im Kraftwerk
  • Unterbrechung der Logistik vom Kraftwerk zum Data Center
  • Probleme in der Stromverteilung im Data Ccenter
  • Ausfall eines Power Supply in den IT-Systemen
  • Ausfall eines Systems innerhalb der technischen Infrastruktur, zum Beispiel durch die Klimaanlage.

Innerhalb des Data Centers wird eine duale Stromversorgung (A- und B-Versorgung) durchgängig bis zu den Stromabnehmern realisiert. Dazu gehören:

  • Redundant ausgelegte Mittelspannungshauptverteiler (MSHV)
  • Redundant ausgelegte Transformatoren
  • Redundant ausgelegte modular aufgebaute Niederspannungshauptverteiler (NSHV)
  • Je NSHV eine n+1-modular konzipierte Unterbrechungsfreie Stromversorgung (USV) mit Power-Unterverteilung
  • Redundante Kabelzuführungen von der USV-Unterverteilung zu den Stromabnehmern
  • Netzersatzanlage NEA

Nieder- und Mittelspannung

Die Einspeisung kann direkt auf die Niederspannungshauptverteiler oder über die Mittelspannungshauptverteiler erfolgen. Im letzteren Fall müssen zwei eigene Transformatoren mit gleicher Leistung zur Umsetzung auf die NSHV für das interne Stromnetz installiert werden.

Um die Sicherheit zu erhöhen, ist die Einspeisung auf die Mittelspannung zu bevorzugen. Die Transformatoren schützen den Niederspannungsbereich vor äußeren Störungen bzw. Einflüssen durch andere Verbraucher im gleichen EVU-Netz.

Die Versorger im Data Center werden an redundante Unterverteiler angeschlossen, getrennt für die technische Infrastruktur und den hochverfügbaren Systemen. Je NSHV wird nachgelagert eine möglichst n+1-USV mit Batteriespeicher für die hochverfügbaren Systeme installiert.

Die Aufgaben der USV

Die USV hat die Aufgabe, mögliche kurze Stromausfälle zu überbrücken. Die Energieanbieter investieren nicht mehr genug in ihre Anlagen, dadurch haben sich Kurzausfälle, die meistens im Sekundenbereich liegen, in den letzten Jahren erhöht. Längere Stromausfälle über Stunden oder Tage kann die USV jedoch nicht überbrücken.

Bei totalem Stromausfall wird der Strom über den Batteriespeicher gehalten, bis die Netzersatzanlage (NEA) aktiv ist. Außerdem gleichen die USV-Anlagen Spannungsschwankungen, Überspannungen, Unterspannungen, Spannungseinbrüche Spannungsverzerrungen aus.

Diese Störungen können die IT-Umgebung schädigen oder gar zerstören; die Hochverfügbarkeit ist gefährdet. Für diese Filterfunktion ist eine herkömmliche Anlage, die nur die Stromausfälle überbrückt, nicht geeignet. Dazu eignet sich nur eine Voltage and Frequency Independent USV (VFI-USV). Die USV ist ausschließlich für Systeme vorzusehen, die für die Hochverfügbarkeit notwendig sind.

Dann kommt die NEA ins Spiel

Die USV versorgt nicht die Systeme der technischen Infrastruktur. Über die USV werden die Racks in den IT-Infrastrukturräumen redundant mit Strom versorgt. State of the Art ist die Installation von redundant ausgelegte Stromschienen, installiert über die Racks in den IT-Räumen. In diesem Fall sind die Stromkabel von den USV mit den Stromschienen verbunden.

Der Vorteil ist bei Neuinstallation eines IT-Racks, dass lediglich jeweils ein Stromkabel (Abgangskasten) von den Stromschienensteckern auf die Power Distribution Unit (PDU) im Rack gesteckt werden muss. Das umständliche Verlegen eines Kabels von der Unterverteilung zum Rack entfällt. Das spart Zeit und Geld.

Ergänzendes zum Thema
Redundanz in der Stromversorgung ist eine Empfehlung

In allen Fällen ist durch die redundante und modulare Ausprägung die Voraussetzung gegeben, im laufenden Betrieb die technischen Infrastruktur-Komponenten zu warten und zu erweitern. Es gibt keine Unterbrechung. Der Hochverfügbarkeit wird Rechnung getragen.

Diese Beschreibung ist lediglich eine Anregung. Es gibt keine vorgefertigte Stromversorgungslösung aus der Schublade. Nicht zuletzt ist es eine Herausforderung für die Konzeptfindung, die Wünsche und Bedürfnisse umzusetzen.

Eine störungsfreie Versorgung mit elektrischer Energie ist nicht immer gewährleistet. Kurze Unterbrechungen oder lang anhaltende Stromausfälle müssen durch Netzersatzanlagen (NEA) überbrückt werden.

Die NEA hält im Notfall den Betrieb eines Datacenters mit der dazu gehörenden technischen Infrastruktur wie Kühlung, Sicherheitseinrichtungen aufrecht. Mindestens eine NEA mit der erforderlichen Leistung muss vorhanden sein. Die Dieselbevorratung sollte den Betrieb für 48 Stunden sicherstellen. Aus Redundanzgründen ist die Installation von zwei NEA mit gleicher Leistung empfehlenswert.

Die Kühlung ist unzeitgemäß und viel zu teuer

Doch nicht nur in punkto Stromversorgung hapert es in vielen Datacenter; auch die Klimatisierungen existieren noch wie zu Zeiten, als der Mainframe dominierte. Dabei wird die Kühlluft in einen Doppelboden geführt und der Raum und die Racks entsprechend von unten gekühlt.

Diese Art der Klimatisierung entspricht jedoch nicht mehr den heutigen hohen Anforderungen. Die Zuluft kommt nicht immer dort an, wo sie gebraucht wird. Häufig entstehen Hot Spots (Wärmenester), wodurch Ausfälle der IT-Komponenten möglich werden.

Noch vor etwa 10 Jahren lag die mittlere Wärmelast bei ca. 0,5 Kilowatt pro Quadratmeter (kW/m²). Durch die zunehmende Integration und Packungsdichte der IT-Komponenten ist der Mittelwert inzwischen bei 1,5 kW/m² angekommen. Es sind Klimageräte im Betrieb, die bis zu 60 Prozent des Energiebedarfs eines Datacenter ausmachen.

Nicht zuviel, zu wenig Kälte und Ausbaufähigkeit

Eine ausreichende Klimatisierung der IT-Systeme ist somit entscheidend für die Verfügbarkeit und Sicherheit. Redundanz ist anzustreben, um die Hochverfügbarkeit sicherzustellen. Bei der Auswahl der Klimageräte ist darauf zu achten, dass die Wartung und Erweiterung im laufenden Betrieb problemlos möglich sind und es wird nur so viel Kältekapazität installiert, wie erforderlich ist.

Moderne Umluft-Präzisionsklimageräte sichern die Verfügbarkeit und reduzieren den Verbrauch bis zu 40 Prozent durch eine maximale Energie-Effizienz gegenüber herkömmlichen Kompressor-Kühlsystemen. Je effizienter die Kühlung ist, desto weniger Energie wird verbraucht. Die Präzisionsklimageräte bieten optimale Bedingungen in Bezug auf das Halten der einmal eingestellten Temperatur und die Luftfeuchte wird automatisch der Temperatur angepasst. Sie verteilen die gekühlte Luft intensiv und gleichmäßig in den Raum.

Bei Ausstattung der Kühlsysteme mit indirekter freier Kühlung reduzieren sich die Energiekosten um bis 60 Prozent (Stichwort: GREEN IT !). Dabei übernimmt bei kalten Außentemperaturen das eingebaute Freikühlregister 100 Prozent der Kälte-Erzeugung.

Umweltfreundliche Kühlung

Je nach Standort kann die freie Kühlung bis zu 150 Tage im Jahr betrieben werden. Es wird ein umweltfreundliches Wasser-Glykol-Gemisch eingesetzt. Dieses Gemisch wird im Freikühlbetrieb an der Außenluft ohne den Betrieb des Kältekreislaufs abgekühlt.

Die sonst dafür zuständige Kältemaschine ist ausgeschaltet. Nur bei hohen Außentemperaturen wird dieses Aggregat zugeschaltet. Das Wasser-Glykol-Gemisch zirkuliert in einem Rohrleitungssystem, das ebenfalls redundant ausgelegt ist, zwischen den Kältemaschinen und Präzisionsklimageräten. Die höheren Mehrkosten von rund 20 Prozent für die freie Kühlung rechnen sich durch einen geringeren Energiebedarf.

Darüber hinaus gibt es auch eine direkte freie Kühlung. Hierbei wird kühle Außenluft über Luftklappen in den zu kühlenden Raum direkt eingeblasen. Diese Variante eignet sich nur für kleine Datacenter und wird hier nicht weiter verfolgt.

Zwei coole Größenordungen

Es sind zwei Größenordnungen der Klimasysteme mit indirekter Kühlung relevant:

  • Klimageräte mit integrierter Freikühleinrichtung und Rückkühler, für Datacenter mit einer Wärmelast von bis zu 300 Kilowatt
  • Kaltwassergestützte Klimageräte mit zentraler externer Kaltwassererzeugung (Kältemaschinen) und externer Freikühlfunktion über einen zentralen Rückkühler – für eine Wärmelast über 300 Kilowatt.

Entscheidend für eine optimale Klimatisierungslösung ist, wenn die zu kühlenden Racks nach dem Kaltgang-/Warmgang-Prinzip angeordnet werden (siehe: Abbildung 1).

Abbildung 1: Aus den Schlitzplatten vor den Racks strömt die abgekühlte Zuluft aus und kühlt die IT-Komponenten. Die erwärmte Abluft tritt an der Rückseite aus und wird den Klimageräten zur erneuten Abkühlung zugeführt.
Abbildung 1: Aus den Schlitzplatten vor den Racks strömt die abgekühlte Zuluft aus und kühlt die IT-Komponenten. Die erwärmte Abluft tritt an der Rückseite aus und wird den Klimageräten zur erneuten Abkühlung zugeführt.
(Bild: Bitkom/Experton)
Die abgekühlte Zuluft wird den Racks zugeführt. Aus den Schlitzplatten vor den Racks strömt die abgekühlte Zuluft aus und kühlt die IT-Komponenten. Die erwärmte Abluft tritt an der Rückseite aus und wird den Klimageräten zur erneuten Abkühlung zugeführt. Dieses Verfahren erhöht die Kühlleistung. Racks bis zu einer Wärmelast von bis zu 8 Kilowatt können so gekühlt werden.

Der ideale Doppelboden

Allerdings wird ein zu niedriger und mit technischen Komponenten, wie Strom- und Netzwerkkabel und Kabeltrays, überfrachteter Doppelboden den Zuluft-Transport hemmen und die Kühlleistung verringern. Die ideale Höhe für einen Doppelboden beträgt 70 bis 100 Zentimeter und die Kabel sollten unter der Raumdecke in Trays verlegt werden.

Der Doppelboden ist somit frei von Installationen und die Zuluft kann ungehindert die Racks erreichen. Ebenso wichtig ist es, dass in den Racks die freien Öffnungen mit Blindblenden verschlossen sind. Sonst vermischt sich die abgekühlte Zuluft mit der erwärmten Abluft und Hotspots sind die Folge.

Das dargestellte Kalt-/Warmgang-Prinzip ist eine gute, aber noch nicht die optimale Lösung. Eine völlige Trennung von Kaltluft- und Warmluftzonen ist hierbei unmöglich, auch wenn die Racks im Kaltgang mit Blindblenden verschlossen sind. Dieses Problem lässt sich mit einer Einhausung, wie in Abbildung 2 dargestellt, lösen werden.

Abbildung 2: Bei einer Kaltgang-Einhausung wird die abgekühlte Zuluft über den Doppelboden gezielt in den eingehausten Kaltgang geblasen und mit gleichmäßig verteiltem Druck den IT-Komponenten zugeführt.
Abbildung 2: Bei einer Kaltgang-Einhausung wird die abgekühlte Zuluft über den Doppelboden gezielt in den eingehausten Kaltgang geblasen und mit gleichmäßig verteiltem Druck den IT-Komponenten zugeführt.
(Bild: BSI/Experton)

Bei einer Kaltgang-Einhausung wird die abgekühlte Zuluft über den Doppelboden gezielt in den eingehausten Kaltgang geblasen und mit gleichmäßig verteiltem Druck den IT-Komponenten zugeführt. Das ermöglicht, das Rack über die gesamte Höhe mit Kühlluft zu versorgen.

Die erwärmte Abluft wird aus der Einhausung geblasen und kann nicht mehr mit der Kaltluft verwirbeln. Der Aufwand für die Kühlung wird reduziert -, der Wirkungsgrad erhöht.

Bei dieser Konstellation sind Racks bis zu 20 Kilowatt kühlbar. Die Energie-Einsparungen gegenüber der Kaltgangvariante ohne Einhausung können bis zu 70 Prozent betragen.

Bei der Planung neuer Klimatisierungslösungen sollten auch die Parameter Raumtemperatur und Luftfeuchte mit einbezogen werden. So führt eine niedrige relative Luftfeuchte, in Verbindung mit einer höheren Raumtemperatur, zu einer effizienteren Arbeitsweise der Klimageräte. Die Energiekosten verringern sich entsprechend.

Mehr Wärme für die IT

Die ASHRAE (American Society of Heating, Refrigerating and Air Conditioning) empfiehlt bei dem Einsatz von modernen IT-Systemen eine Raumtemperatur von 80 Fahrenheit = 27 Grad Celsius.

Bei Wärmelasten von mehr als 20 Kilowatt pro Rack ist eine direkte Kühlung zu empfehlen. Diese Lösung sollte jedoch sorgfältig überlegt werden. In hochsensiblen Räumen können wassergeführte Leitungen zu Ausfällen der IT-Komponenten führen, falls Wasser austritt.

Es ist auch zu erwarten, dass zukünftig die Wärme-Abgabe der IT-Geräte sinken wird. Ähnlich wie bei Haushaltsgeräten und Autos wird der Gesetzgeber die Hersteller dazu zwingen, Systeme mit weniger Energie-Aufnahme anzubieten. Erste entsprechende Systeme sind bereits auf dem Markt.

Das Rechenzentrum als Bollwerk

Hochverfügbare Rechenzentrem dürfen sich den Gefahren des unberechtigten Zutritts, Diebstahsl, Vandalismus, von Anschläge und Sabotage nicht ohne entsprechenden Schutz, beziehungsweise Sicherheits-Management aussetzen. Denn derartige Ereignisse können den IT-Betrieb empfindlich stören.

Ein solches Management bezieht Folgendes ein:

  • Video-Überwachung der Außenanlagen
  • Beleuchtung der Außenanlagen
  • Video-Überwachung im Gebäude
  • Einbruchmeldetechnik
  • Zutrittskontrollen und
  • der Wachdienst

Die Überwachung der Außenanlagen sowie des Gebäudes erfolgt mit „Digital Kameras“. Diese sind IP-basierend und in einem separaten, gesicherten Ethernet Netzwerk angeschlossen. Sie bieten eine hohe Bildauflösung, die im hochsensiblen Sicherheitsbereich unerlässlich ist.

Das Video-Überwachungssystem selbst besteht aus einer Vielzahl von Komponenten, die zu einer Video-Management-Infrastruktur zusammengefasst sind. Die digitalen Signale werden auf separate, redundante mit Spezialsoftware ausgestattete Server übertragen und aufgezeichnet.

Ohne Video und Wachdienst geht es nicht

Eine geeigneten Überwachungsstelle, zum Beispiel Wachdienst und Pförtner, beobachten die Bilder an Überwachungsmonitoren. Die Überwachungsstelle muss permanent besetzt sein.

Die Außenanlagen werden mit Videokameras als ein lückenloser „virtueller Zaun“ mit Festkameras sowie „Dome Kameras“ (Rundumkamera) eingerichtet. Die Festkameras sind so angeordnet, dass die nächste mit überwacht wird. Fällt die Nachbarkamera aus, so ist eine lückenlose Überwachung dennoch gewährleistet.

Bewegungen auf dem Gelände werden durch die Video-Sensorik erkannt, Alarme erzeugt und mit dem passenden Bild an den Überwachungsmonitor gesendet. Die Kameras müssen vor Witterungseinflüssen und Vandalismus gut geschützt sein.

Freie Flächen bevorzugt

Die Topologie der Freifläche ist auf Gefahrenquellen hin zu prüfen. Bepflanzung von Bäumen oder Büschen ist zu vermeiden. Dieses kann dem Eindringling als Sichtschutz dienen.

Der Außenbereich wird ausreichend ausgeleuchtet. Das Beleuchtungssystem unterstützt die Video-Überwachung und das Wachpersonal bei seinen Rundgängen. Eindringlinge werden schneller erkannt. Bei der Planung ist darauf zu achten, dass die Beleuchtung auf die Video-Überwachung abgestimmt wird, zum Beispiel darf es keine Schatten oder ein Blenden der Kameras geben.

Das Grundstück sollte durch einen hohen Zaun, Mauern sowie durch eine Zufahrt mit Tore gesichert sein.

Im Gebäude überwachen Video-Kameras auch die Flure zu den sensiblen Räumen. Durch Personenbewegungen werden die Kameras aktiviert, die Beleuchtung wird automatisch eingeschaltet. Das Video-Bild wird auf die Überwachungsmonitore in der Überwachungsstelle übertragen.

Intelligente Kameras für den Innenbereich

In den sensiblen Räumen, im IT-Infrastruktur- sowie Technischen-Infrastruktur-Bereich, sind eine ausreichende Anzahl von Digitalkameras zu installieren. Diese kontrollieren kontinuierlich die Räume.

Fenster und Türen werden zusätzlich mit Sensoren ausgestattet. Im Einbruchsfall oder wenn eine Tür beispielsweise länger als normal geöffnet ist, wird ein Alarm ausgelöst, der in der Überwachungsstelle aufläuft. Die Kameras im Alarmbereich werden automatisch aktiv, die Video-Bilder auf dem Überwachungsmonitor dargestellt. Die maximal zu tolerierende Öffnungszeit lässt sich je Tür definieren.

Der Zutritt zu den sensiblen Bereichen ist nur berechtigten Personen erlaubt. Tore im Außenbereich sowie Türen im Gebäude, die zu Räumen mit hoher Sicherheitsstufe führen, werden mit Zutrittskontroll-Terminals ausgestattet. Die Zutrittsberechtigung lässt sich beispielsweise mit biometrischem Fingerprint oder Firmen-Ausweis mit Legic Technologie prüfen. Unberechtigten Personen wird der Zutritt kompromisslos verweigert.

Zutritt erteilt

Die Terminals sind vernetzt. Die Zutritte werden auf separate redundante Server aufgezeichnet und lassen sich somit auswerten. Der IT-Bereich legt die Zutrittsberechtigungen genau fest und dokumentiert: Wer darf wo rein, unbegrenzt oder in einem definierten Zeitraum. Verlässt der Mitarbeiter die Abteilung oder übernimmt eine andere Aufgabe, muss der Zutritt unverzüglich gesperrt werden.

Ergänzendes zum Thema
Wer ein Datacenter plant …

Wer ein Rechenzentrum plant, muss die Gefährdung genau analysieren. Die Maßgabe ist: Was muss berücksichtigt werden, um eine hohes Maß an Sicherheit nahe 100 Prozent zu erreichen?

Der Wachdienst und der Bereich Facilities sollten in die Planung eingebunden werden und eine präventive Wartung der eingesetzten Systeme ist unerlässlich.

Der Zutritt sollte nur Personenerlaubt sein, die auch tatsächlich diesen Raum betreten müssen. Externe betreten das Datacenter nur in Begleitung eines Mitarbeiters mit Zutrittsberechtigung.

Trotz der technischen Einrichtungen bleibt die Kontrolle durch Personen unerlässlich. Der Wachdienst kontrolliert zentral auf den Bildschirmen die Bewegungen im Gelände und Gebäude. Auch Kontrollgänge außerhalb der Geschäftszeiten sind notwendig. In vielen Unternehmen hat der Wachdienst auch die Aufgabe Zutrittsberechtigungen einzurichten und zu entziehen.

Wolfgang Heinhaus ist Partner Advisor bei der Experton Group AG. Seine projektbezogenen Schwerpunkte sind: Planung und Umsetzung neuer Datacenter im In- und Ausland, Planung und Design von Netzwerk Infrastrukturen, LAN und WAN, IT-Infrastruktur Ausschreibungen, Business/IT Alignment Gegenwärtig ist er als Projektleiter für die Umsetzung eines neuen Datacenters mit einer Größe von 1.800 m² in Deutschland und zwei weiteren Datacentern (Primary und Backup) in Indien verantwortlich tätig. Dabei spielt die Ausfallsicherheit nach Tier 3 und 4 und der Green IT Gedanke (Reduzierung der Energiekosten und des CO2-Ausstoßes) eine große Rolle.
Wolfgang Heinhaus ist Partner Advisor bei der Experton Group AG. Seine projektbezogenen Schwerpunkte sind: Planung und Umsetzung neuer Datacenter im In- und Ausland, Planung und Design von Netzwerk Infrastrukturen, LAN und WAN, IT-Infrastruktur Ausschreibungen, Business/IT Alignment Gegenwärtig ist er als Projektleiter für die Umsetzung eines neuen Datacenters mit einer Größe von 1.800 m² in Deutschland und zwei weiteren Datacentern (Primary und Backup) in Indien verantwortlich tätig. Dabei spielt die Ausfallsicherheit nach Tier 3 und 4 und der Green IT Gedanke (Reduzierung der Energiekosten und des CO2-Ausstoßes) eine große Rolle.
(Bild: Experton)
Der Autor:

Wolfgang Heinhaus ist Partner Advisor bei der Experton Group AG. Er hat über 25 Jahre Erfahrung in der Informationstechnologie auf Anwender- sowie auch auf Beratungsseite. Vor seinem Wechsel zur Experton Group Anfang 2011 war er bei Ferrero als Leiter der Abteilung IT-Infrastruktur tätig. Heinhaus hat die Abteilung aufgebaut, weiterentwickelt und den ständig wechselnden Anforderungen angepasst. Sein Fokus liegt in der Harmonisierung und Standardisierung von Rechenzentren sowie der Netzwerkstrategie.

(ID:34757760)