Unis in Baden-Württemberg erhalten ein Hochleistungs-Rechenzentrum

Anbieter zum Thema

VON ZUR MÜHLEN'SCHE GmbH

Fsas Technologies GmbH

EPS Rechenzentrum Infrastruktur GmbH

Karlsruher Institut für Technologie (KIT)

Die Konfiguration des bwUniCluster

Der bwUniCluster beinhaltet:

• 2 Login-Knoten mit jeweils 16 Cores mit einer theoretische Spitzenleistung von 332,8 GFLOPS und 64 GB Hauptspeicher pro Knoten,

• 512 „dünne“ Rechenknoten mit jeweils 16 Cores mit einer theoretische Spitzenleistung von 332,8 GFLOPS und 64 GB Hauptspeicher pro Knoten,

• 8 „fette“ Rechenknoten mit jeweils 32 Cores mit einer theoretische Spitzenleistung von 614,4 GFLOPS und 1 TB Hauptspeicher pro Knoten

• und als Verbindungsnetzwerk ein Infiniband 4X FDR Interconnect.

Der bwUniCluster ist ein hybrider massiv paralleler Parallelrechner mit insgesamt 532 Knoten, wobei 10 Knoten davon Service-Knoten sind. Dabei sind die File-Server-Knoten nicht mitgezählt. Alle Knoten – bis auf die „fetten“ Knoten – haben eine Taktfrequenz von 2,6 Gigahertz (GHz).

Die „fetten“ Knoten haben eine Taktfrequenz von 2,4 GHz. Alle Knoten besitzen lokalen Speicher, lokale Platten und Netzwerkadapter. Ein einzelner Rechenknoten hat eine theoretische Spitzenleistung von 332,8 beziehungsweise 614,4 GFLOPS, so dass sich eine theoretische Spitzenleistung von 176,0 TFLOPS für das gesamte System ergibt. Der Hauptspeicher über alle Rechenknoten hinweg beträgt 41,1 Terabyte. Alle Knoten sind durch ein Infiniband 4X FDR Interconnect miteinander verbunden.

Infiniband und Lustre

Das Basisbetriebssystem auf jedem Knoten ist ein Ret Hat Enterprise Linux (RHEL) 6.4. Als Management-Software für den Cluster dient „KITE“; KITE ist eine offene Umgebung für den Betrieb heterogener Rechen-Cluster.

Als globales Dateisystem wird das skalierbare, parallele Dateisystem Lustre über ein separates Infiniband Netzwerk angebunden. Durch die Nutzung mehrerer Lustre Object Storage Target (OST) Server und Meta Data Server (MDS) wird sowohl eine hohe Skalierbarkeit als auch eine Redundanz beim Ausfall einzelner Server erreicht.

Im HOME-Verzeichnis, das das gleiche ist wie das HOME-Verzeichnis des InstitutsClusterII und der hc3, stehen ca. 469 Terrabyte an Plattenplatz zur Verfügung. Im WORK-Verzeichnis stehen rund 224 Terrabyte an Plattenplatz zur Verfügung. Daneben ist jeder Knoten des Clusters mit lokalen Platten für temporäre Daten ausgestattet.

Kurzbeschreibung der Knoten:

• 2 16-Wege (Login-)Knoten mit jeweils 2 Octa-Core Intel Xeon E5-2670 Prozessoren mit einer Taktfrequenz von 2,6 GHz, 64 GB Hauptspeicher und 4 TB lokalem Plattenplatz,

• 512 16-Wege (Rechen-)Knoten mit jeweils 2 Octa-Core Intel Xeon E5-2670 Prozessoren (Sandy Bridge) mit einer Taktfrequenz von 2,6 GHz, 64 GB Hauptspeicher und 2 TB lokalem Plattenplatz,

• 8 32-Wege (Rechen-)Knoten mit jeweils 4 Octa-Core Intel Xeon E5-4640 Prozessoren (Sandy Bridge) mit einer Taktfrequenz von 2,4 GHz, 1 TB Hauptspeicher und 7 TB lokalem Plattenplatz und

• 10 16-Wege Service-Knoten mit jeweils 2 Octa-Core Intel Xeon E5-2670 Prozessoren mit einer Taktfrequenz von 2,6 GHz und 64 GB Hauptspeicher.

• Ein einzelner Octa-Core Prozessor (Sandy Bridge) hat 20 MB L3-Cache und betreibt den System Bus mit 1600 MHz, wobei jeder einzelne Core des Sandy Bridge Prozessors 64 KB L1-Cache und 256 KB L2-Cache hat.

(ID:42503083)