Mit Standardkomponenten zum Datapod Minio stellt Referenz­archi­tektur für Exascale AI Storage vor

Anbieter zum Thema

Schneider Electric GmbH

Mit der steigenden Akzeptanz von KI-Anwendungen,wächst auch die Zahl der Unternehmen, die Exabyte an Daten oder mehr speichern wollen, fast schon sprunghaft an. Minio hat nun eine Referenzarchitektur für Exascale-Speicher vorgestellt, die ermöglichen soll, in 100 Petabyte-Schritten in Exascale-Dimensionen vorzustoßen, Der Clou: Infrastruktur ist von der Stange.

Anand Babu Periasamy, Mitbegründer und Co-CEO von Minio weist darauf hin, dass vor zehn Jahren, als seiner Ansicht nach der Höhepunkt des Big-Data-Booms erreicht war, sich eine entsprechende Analysen auf Daten im einstelligen Petabyte-Bereich (PB) stattgefunden habe. Nur den größten Anwendungen lagen Datensätze von mehr als 100 PB zugrunde, in der Regel auf HDFS-Clustern.

Er sagt: „Das hat sich jetzt komplett geändert. Hundert bis 200 Petabytes (PB) sind die neuen einstelligen Petabytes, und die datenorientierten Unternehmen gehen dazu über, alle ihre Daten zu konsolidieren. Sie gehen sogar in den Exabyte-Bereich.“ Beispiele sind:

• ein nordamerikanischer Automobilhersteller mit fast einem Exabyte an Fahrzeugvideos

• ein deutscher Automobilhersteller mit mehr als 50 PB an Fahrzeugtelemetriedaten

• Ein Biotech-Unternehmen mit mehr als 50 PB biologischer, chemischer und patientenzentrierter Daten

• ein Cyber-Sicherheitsunternehmen mit mehr als 500 PB an Protokolldateien

• ein Medien-Streaming-Unternehmen mit mehr als 200 PB an Videodaten

• ein Verteidigungsunternehmen mit mehr als 80 PB an Geodaten, Log- und Telemetriedaten von Flugzeugen

Er verweist darauf, dass die generative KI-Revolution die Unternehmen dazu zwinge, ihre Speicherarchitekturen zu überdenken, zumal eine Auslagerung in die Cloud 60 Prozent bis 70 Prozent teurer wäre, als der Aufbau dieser Kapazitäten in eigenen Rechenzentren. Zudem hätten Unternehmen bereits in GPUs investiert und benötigten nun größere und schnellere Speicher, um sie mit Daten zu versorgen.

Neuer Cloud Native Object Storage Server

Minio stellt Open Source Object Speicher für unstrukturierte Daten vor

In Anlehnung an die Cloud-Native-Bezeichnungen hat Minio seine Referenzarchitektu „Datapod" genannt. Sie basiert auf handelsüblichen X86-Servern von Dell Technologies, HPE und Supermicro, NVMe-Laufwerken, Ethernet-Switches und dem „S3“-kompatiblen Objektspeichersystem von Minio selbst. Dabei besteht jeder Datapod aus elf identischen Racks und jedes Rack aus elf Speicher-Servern auf je zwei Höheneinheiten. Ergänzt wird das System durch je zwei Top-of-Rack-Layer-2-Switches sowie einem Management-Switch.

Jeder 2U-Speicherserver im Rack ist mit einem 64-Core-Single-Socket-Prozessor, 256 GB RAM, einer Dual-Port-200-Gigabit-Ethernet-NIC, 24 2,5-Zoll-U2-NVMe-Laufwerksschächten und redundanten 1.600-Watt-Netzteilen ausgestattet. Die Spezifikation sieht 30 TB NVMe-Laufwerke vor, was eine Gesamtkapazität von 720 TB pro Server ergibt.

Nach eigenen Angaben hat Minio diese Architektur mit mehreren Kunden validiert. Das heißt, mit ihr kann lässt sich ein System bis zu einem Exabyte an Daten und darüber hinaus skalieren. Tatsächlich hat Minio bereits durchschnittliche Straßenpreise veröffentlicht, die sich auf 1,50 Dollar pro TB und Monat für die Hardware sowie 3,54 Dollar pro TB und Monat für die Minio-Software belaufen.

Somit käme ein 100-PiB-System (PiB = Pebibyte) bei einem Preis von etwa 5 Dollar pro TB und Monat auf etwa 500.000 Dollar pro Monat. Wir die Summe mit 10 multipliziert, gelangt der geneigte Leser auf die ungefähren Kosten für ein Exabyte-System.

(ID:50125486)