Vast mit neuen KI-Kooperationen Das disaggregierte Rechenzentrum wird Realität

Anbieter zum Thema

NVIDIA GmbH

VAST Data

Supermicro Germany

Rittal GmbH & Co. KG

Vertiv GmbH

mehr weniger

Data Center Group – Büro Köln

weniger

Einer der wichtigsten neuen Player im KI-Umfeld ist zwei weitere Kooperationen eingegangen, um seine parallele Architektur noch weiter zu verfeinern: Supermicro und Nvidia helfen Vast, aus Supercomputern „KI-Maschinen“ zu machen und im Rechenzentrum Computing und Storage noch dezidierter zuzuweisen.

Vast Data zählt zu den heißesten Eisen im Feuer der künstlichen Intelligenz (KI). Im Vorfeld der von Nvidia initiierten KI-Konferenz GTC hat es nun zwei neue Kooperationen vorgestellt: Zum einen mit Supermicro, zum anderen mit dem langjährigen Partner Nvidia selbst. In beiden Fällen geht es um die Disaggregation von Rechenzentrumskomponenten mit dem Ziel, Ressourcen noch punktgenauer zu nutzen.

Mit Supermicro, das nach Auskunft von CEO Charles Liang schon länger an der Disaggregation arbeitet, plant Vast ein umfassendes End-to-End-System für groß angelegter KI-Implementierungen bereitzustellen. Die Zielgruppe dafür seien Service Provider, Hyperscaler und datenzentrierte Konzerne.

Sie sollen damit Vast- und Supermicro-Cluster bei über 99,9999 Prozent Uptime auf Exabyte-Ebene skalieren können. Auch beschleunige die avisierte Lösung das Feature-Engineering mit „Apache Spark“ und könne große Trainings- und Inferenz-Workloads offerieren.

„Supermicro freut sich über die Zusammenarbeit mit Vast und die Nutzung seiner Data Platform“, so Liang. „Die Nutzung des Nvidia-zertifizierten Portfolios von Supermicro in Kombination mit der Softwareplattform von Vast kombiniert die Rechen- und Datenfunktionen in einer Supermicro-Plattform, die eine signifikante Deep-Learning-Leistung ermöglicht und ideal für groß angelegte KI-Einsätze ist.“

Noch größere Nähe zu Nvidia

Und die Partnerschaft mit Nvidia? Gemeinsam haben die Partner ein Infrastrukturdesign entwickelt, das die Architektur von Vast direkt in „Nvidia Bluefield-3“-DPU integriert.

Jeder GPU-Server wird dafür mit einer dedizierten Bluefield Data Processing Unit (DPU) ausgestattet, auf der ein zustandsloser Container mit dem Vast-Betriebssystem läuft. Das komplette Vast-Betriebssystem mit seinen Speicher- und Datenbank-Services wird also nativ in KI-Computing-Maschinen eingebaut – aus Supercomputer würden damit „KI-Datenmaschinen“. Beide Unternehmen sprechen von einer „AI Factory-Architektur“, ein Terminus, der im KI-Umfeld gerne genutzt wird.

Diese verbrauche deutlich weniger Rechen- und Netzwerkressourcen als bislang für KI-Anwendungen nötig, was den Stromverbrauch und den Platzbedarf im Rechenzentrum für die Vast-Infrastruktur um 70 Prozent reduziere. Dies wiederum führe zu einer Netto-Energieeinsparung von über fünf Prozent im Vergleich zum Einsatz von Nvidia-gestützten Supercomputern mit der früheren Workload-optimierten Architektur.

Dazu Jeff Denworth, Mitbegründer von Vast: „Diese neue Architektur ist der perfekte Showcase, um die Parallelität unserer Plattform zu demonstrieren. Mit den Nvidia Bluefield-3 DPUs können wir nun das volle Potenzial unserer Vision für disaggregierte Rechenzentren realisieren, auf die wir seit der Gründung des Unternehmens hinarbeiten.“

Die AI Factory-Architektur kommt als erstes bei Coreweave zum Einsatz, einem spezialisierten GPU-Cloud-Anbieter, mit dem Vast seit vergangenem Jahr an skalierbaren KI-Maschinen bastelt. „Wir integrieren die Software von Vast direkt in unsere GPU-Cluster“, berichtete Peter Salanki, Vice President of Engineering bei Coreweave.

„Wir rationalisieren damit nicht nur unsere Infrastruktur, sondern verbessern auch die Benutzerfreundlichkeit für unsere Kunden, indem wir Engpässe in der KI-Datenverarbeitungspipeline beseitigen“, setzt er hinzu. „Damit können wir unsere Rechenzentren vollständig disaggregieren.“

Vast startet durch

Im Zuge des KI-Hypes wird Vast tatsächlich jeden Tag wichtiger, der Wert des jungen Unternehmens wird mittlerweile auf rund zehn Milliarden Dollar taxiert. Die Vast-Plattform ist zuallererst und einfach gesprochen in der Lage, die umwerfend vielen Daten, die für KI-Anwendungen benötigt werden, sicher und schnell zu speichern und zu verwalten. Warb man in den Anfangszeiten noch mit geringen Kosten für die Aufbewahrung, punktet man heute durch eine beeindruckende Skalierungsfähigkeit sowie Parallelität der Datenbankabrufe.

Angeschlossen an den Storage-Layer findet sich eine Rechenebene, auf der Rohdaten so aufbereitet werden, so dass sie für Business-Intelligence-Auswertungen geeignet sind. Anders als etwa Snowflake im Bereich Data Warehousing oder Databricks in Sachen Datenverarbeitung stellt Vast zusätzlich in Aussicht, auch unstrukturierte Daten verstehen und verarbeiten zu können. Eine echte Revolution! Bekanntlich bestehen 95 Prozent aller im Internet jemals angefallener Daten aus Videos, Tonaufnahmen oder Bildern. Ein Schatz, der bislang nicht gehoben werden konnte.

Vast legt diese in seiner „Vast Database“ ab, in der die Metadaten mittels der „Vast Data Engine“ eingeordnet und prozessiert werden. Sie ist laut Vast-CEO Renen Hallak ein schnelles, skalierbares und ACID-transaktionales, verteiltes System, das eine für Flash-Memory optimierte, spaltenförmige Datenstruktur im Exabyte-Bereich offeriert. Wie Kollege Michael Matzer in seinem Artikel detailliert darlegt, verbindet Vast auf diese Weise die Vorzüge eines Data Warehouse mit einem Datenbanksystem.

Der Zugriff auf die Daten erfolgt von überall her innerhalb eines globalen „Vast Dataspace“. Er hebt Datensilos auf, sorgt aber gleichzeitig für Schreibkonsistenz über Standorte hinweg.

Ziel all dieser architektonischen Raffinessen ist es, besagte unstrukturierte Daten zu verstehen und zu nutzen. Dafür sind KI-Anwender wie die Münchner Macher der „Genesis Cloud“ zuständig, mit denen Vast seit jüngstem zusammenarbeitet. Und fast jeden Tag geht Vast daher neue Kooperationen ein.

(ID:49960206)