Suchen

Speicher für riesige Datenmengen, Teil 4 Dateisysteme, Cloud und lokales Storage: Oracle/Sun QFS, Fujitsu Exabyte File System, Amazon EFS, Azure Data Lake, IBM Flashsystem, Cray Cluster Store

| Autor / Redakteur: Thomas Joos / Dr. Jürgen Ehneß

Im vierten Teil der Reihe zur Datenspeicherung von Daten im Petabyte-Bereich befasst sich Autor Thomas Joos erneut mit Dateisystemen, Cloud-Speichern in diesem Bereich und neuen Speichersystemen.

Firma zum Thema

Dateisysteme für Big Data: hier Teil 4 unserer Übersicht.
Dateisysteme für Big Data: hier Teil 4 unserer Übersicht.
(Bild: gemeinfrei / Pixabay )

In den ersten drei Teilen dieser Reihe sind Dateisysteme vorgestelle worden, die Daten im Petabyte-Bereich nicht nur theoretisch speichern können, sondern auch in der Lage sind, den benötigten Speicher den Anwendern und Workloads schnell und stabil zur Verfügung zu stellen. Den Abschluss machen weitere Dateisysteme sowie Cloud- und On-Premises-Speicher.

Dateisystem: Oracle/Sun Quick File System (QFS)

Bei „Quick File System (QFS)“ handelt es sich um ein Dateisystem von Sun Microsystems. Durch die Übernahme von Sun Microsystems durch Oracle wurde das Open-Source-Dateisystem in die Produktlinie von Oracle übernommen. Das Dateisystem ist Bestandteil von „SAM-QFS“ (Storage and Archive Manager). Hierbei handelt es sich um ein hierarchisches Speicher-Management-System.

Dateisystem: Fujitsu Exabyte File System

Beim „Fujitsu Exabyte File System (FEFS)“ handelt es sich um ein skalierbares, paralleles Dateisystem, das auf Lustre basiert. Das Dateisystem ist optimiert für Fujitsu-HPC-Cluster.

Unternehmen können ihre Speicherbereitstellungen horizontal skalieren. FEFS unterstützt Systeme mit bis zu 8 Exabyte (8.000 Petabyte) Kapazität und 1 Terabit pro Sekunde. Zusätzlich verfügt FEFS über Funktionen wie integrierte Hochverfügbarkeit aller Komponenten, Fair-Share-E/A-Verwaltung und Quoten auf Verzeichnisebene.

FEFS stellt Dateifreigaben zwischen einem HPC-Cluster-System mit „FEFS-Server“ und „FEFS-Client“ bereit. Der FEFS-Client arbeitet auf Rechenknoten und Anmeldeknoten, die mit hoher Geschwindigkeit verbunden sind. Das System nutzt Infiniband und bietet transparenten Dateizugriff auf FEFS-Server.

Der FEFS-Server umfasst Metadatenserver (MDS) und Objektspeicherserver (OSS) für Hochleistungsdaten. Mit redundanter Konfiguration von MDS und OSS bietet FEFS Hochverfügbarkeit und Failover-Funktionen. Die Systemkapazität und -leistung können dynamisch verändert werden.

Cloud-Speicher: Amazon Elastic File System (EFS)

Bei „Amazon Elastic File System (EFS)“ handelt es sich um ein skalierbares und verwaltetes NFS-Dateisystem in AWS. Administratoren können also selbst nicht in die Konfiguration von EFS zugreifen. Aktualisierung, Verwaltung und Patchen des Dateisystems werden von Amazon übernommen. Die Verwaltung läuft über Schnittstellen, mit denen Administratoren und Entwickler das System konfigurieren können.

Das System ist für die Verwendung von Cloud-Ressourcen in AWS optimiert. Die Skalierung erfolgt automatisch. Mit EFS lassen sich mehrere Tausend VMs in „EC2“ anbinden. Die VMs erhalten parallelen Zugriff und hohen Durchsatz. Das System ist aber nicht lokal auf eigenen Servern einsetzbar, sondern ausschließlich in der Amazon-Cloud.

Cloud-Speicher: Azure Data Lake

Bei „Azure Data Lake“ handelt es sich um einen Speicherbereich in „Microsoft Azure“, der nahezu beliebige Daten in unbegrenzter Menge speichern kann. Der Dienst kann auch gestreamte Datenmengen speichern und stellt seine Funktion für andere Dienste in Microsoft Azure zur Verfügung.

Azure Data Lake kann Daten im Petabyte-Bereich speichern. Zusätzlich zu „Hadoop“ unterstützt Azure Data Lake auch „Spark“, „Storm“, „Flume“, „Sqoop“, „Kafka“ und andere Software für Big Data, die mit Hadoop zusammenarbeiten.

Storage-Solution: IBM FlashSystem 7200, 9200 und 9200R

Es gibt viele Speichersysteme von großen Anbietern wie HPE, Dell oder IBM, mit denen sich Daten in großer Menge speichern lassen. Die neuen wie „Flashsystem“ 7200, 9200 und „9200R“ von IBM unterstützen bis zu 4 Petabyte.

Die Server basieren auf der Plattform „Spectrum Virtualize“. Die Storage-Systeme lassen sich in verschiedenen Bereitstellungsarten nutzen. Neben der Installation über Bare-Metal, kann die Umgebung auch virtualisiert und als Cloud-System gebucht werden. Auch Hybrid-Lösungen und Multicloud-Anbindung ist möglich.

Die Systeme bauen auf „Flashcore“-Modulen auf und stehen auch als Rack-Produkt zur Verfügung. Neben Flashcore werden in dem System auch Non-Volatile Memory Express (NVMe), Storage Class Memory (SCM), eine KI-basierte, vorausschauende Speicherverwaltung sowie die aktive Unterstützung durch Storage Insights bereitgestellt. Das Flashsystem wird assembliert geliefert, wobei Installation und Konfiguration von IBM durchgeführt werden.

Storage-Solution: Cray Cluster Store für ein Exabyte und mehr

Der Supercomputerhersteller Cray baut für das Department of Energy (DOE) und das Oak Ridge National Lab (ORNL) eine Exabyte-Speicherlösung. Das „Cray-Clusterstor“-Speicherdateisystem wird als Teil des Frontier-Exascale-Supercomputers von ORNL integriert, der auf der Shasta Architektur von Cray aufbaut. Das Frontier-System wird voraussichtlich 2021 fertiggestellt.

Der neue Speicher wird auf der nächsten Generation der Clusterstor-Speicherlinie von Cray basieren und aus mehr als einem Exabyte (EB) Hybrid-Flash und Speicher mit hoher Kapazität bestehen. Als Dateisystem wird „Lustre“ eingesetzt. Verglichen mit dem Speicher für den aktuellen Summit-Supercomputer des ORNL, ist diese Lösung mehr als viermal so leistungsfähig und mehr als viermal so durchsatzstark. Das System wird aus über 40 Speicherschränken bestehen und mehr als 1 Exabyte Gesamtkapazität über zwei Speicherebenen bieten.

* Thomas Joos ist freier Autor und schreibt auf DataCenter-Insider seinen eignen Blog mit Tipps und Tricks für Administratoren: Toms Admin Blog

(ID:46732445)

Über den Autor

 Thomas Joos

Thomas Joos

Freiberuflicher Autor und Journalist