Disaggregierte beziehungsweise Composable Infrastructure „Heißer Scheiß“: Das Bare-Metal-Rechengewebe von Liqid

Anbieter zum Thema

Schneider Electric GmbH

PQ Plus GmbH

Überprovisionierung ist der Feind der betrieblichen Effizienz. Mit Composable Infrastructure von Liqid soll „eine Cloud-übertreffende Agilität in jeder Skalierungsstufe“ und „ein neues Niveau der Ressourcenauslastung, der betrieblichen Effizienz und der Nachhaltigkeit“ in jedes Rechenzentrum einkehren. In Zeiten ungewisser Versorgung kann es eigentlich nicht schaden.

Das Gespenst anziehender Preise, steigender Zinsen und stotternder Versorgungsketten lässt die Anschaffung neuer Kapazitäten in der Unternehmens-IT in den Vordergrund rücken. Die Herausforderungen der Kapazitätsplanung für neuartige Workloads lösen eine Menge Verunsicherung aus.

Wuchernde Überprovisionierung, die mit althergebrachten Datacenter-Architekturen einhergeht, setzt den Unternehmen schon seit jeher zu. Doch die Notwendigkeit, anspruchsvolle Arbeitslasten elastisch zu skalieren, ist relativ neu. Das macht es nicht einfacher.

Vor diesem Hintergrund entsteht eine neue Generation von Hardware: (Disaggregated) Composable Infrastructure. Der Bedarf ist da.

Der globale Markt für Composable Infrastructure soll laut einem Analystenbericht von Grand View Research aus dem Jahre 2022 im Prognosezeitraum bis zum Jahr 2030 mit einer nahezu astronomischen CAGR von 50,4 Prozent wachsen. Das resultierende globale Marktvolumen beziffern die Marktforscher auf 101,92 Milliarden Dollar im Jahre 2030.

Teile und herrsche!

Eine bewährte Methode, im Ingenieurwesen scheinbar unlösbare Probleme zu lösen, folgt dem Prinzip „Teile und herrsche“. Eben dieser Ansatz liegt der Composable Infrastructure zu Grunde.

Verfechter der Composable Infrastructure wollen mit diesem Ansatz die kombinierte Zielsetzung unfehlbarer Kapazitätsplanung, vorbildlicher Energie-Effizienz und betrieblicher Agilität auf einen Schlag erreichen. Der Gedanke klingt tatsächlich verlockend und rückt mit Innovationen wie jene von Liqid anscheinend in greifbare Reichweite.

„Verflüssigung“ für Bare Metal: Infrastructure as Code auf dem Vormarsch

Liqid, einer der weltweit führenden Anbieter für Composability im Rechenzentrum, will der Verschwendung von Rechenkapazitäten und Energie im Rechenzentrum ein Ende setzen.

Composable Infrastructure für Server, SSDs, GPUs, FPGAs, Netzadapter und mehr

Liqid strickt Infrastruktur ad hoc zusammen

Mit „Liqid Grid“ (der Switchiung-Technologie) und „Liqid Fabric“ (dem Netzwerkgewebe) sollen Unternehmen ihre klassische IT nach Art der Ressource – Compute, Storage, Netzwerk, GPUs – aufbrechen können und so von althergebrachten Systemarchitekturen entfesseln. Aus den resultierenden Ressourcenpools können jetzt, in Softwarecode definiert, neue logische Systeme entstehen – mit genau den Spezifikationen, welche den Anforderungen der aktuell angefragten Arbeitslasten entsprechen. Nicht mehr und nicht weniger.

Typische Nutzungsszenarien beinhalten KI, maschinelles Lernen, Genomik, Hochleistungsmodellierung und was auch immer an Forschung und Entwicklung viel von IT-Budgets verschlingt.

Liqid Thinktank: disaggregierte GPUs

Liqid hat mit „Thinktank“ das weltweit erste vollständig integrierte 'CDI'-System (Composable Disaggregated Infrastructure) für GPU-zentrierte Datacenter-Arbeitslasten geschaffen.

GPUs sind bekannterweise eine Bastion der Ineffizienz im Rechenzentrum. Nicht nur sind sie teure Energiefresser, sie bereiten auch Probleme bei der Bereitstellung und dann, wenn es darum geht, ihre Leistung gegen NVMe-Speicher und Next-Gen-Beschleuniger wie FPGAs und Storage-Class-Memory auszubalancieren. Das macht den Einsatz von GPUs für viele Unternehmen unrentabel.

Liqid Thinktank setzt sich in der größten Ausbaustufe (XR) aus bis zu zwei 1U-Host-Servern, bis zu 120 Terabyte (TB) NVMe-Datenspeicher und bis zu 32 PCIe-basierten GPUs sowie je einen 24 Port starken oder zwei 48 Port starke PCIe Gen 4.0 Switches zusammen. Jedes System verfügt zudem über bis zu 32 Quantum Infiniband- oder Spectrum-3 Ethernet-Adapter von Nvidia mit einer Bandbreite von je bis zu 200 GB. Einzelne Thinktank-Systeme sind via PCIe-Gewebe „Liqid Matrix“ miteinander verbunden.

Es ist ein vollständig integriertes System auf der Basis disaggregierter Ressourcen, die sich mit Hilfe der CDI-Software Liqid Matrix verwalten lassen. Thinktank stellt jedem der integrierten Host-Server genau die benötigte Anzahl von GPUs zur Verfügung und kann die überschüssige Leistung der zeitweise überschüssigen GPUs in Echtzeit an andere Serverknoten verlagern, damit sie dort anderen Arbeitslasten zugutekommen.

Die Ausstattung von Liqid Thinktank

Liqid Thinktank unterstützt bis zu 32 GPUs, aber derzeit nur zwei Modelle: entweder „Ampere A100“ von Nvidia mit 80 GB oder „Arcturus MI100“ von AMD mit 32GB. Für den Datenspeicher nutzt Liqid die hauseigene SSD „Honey Badger“ wahlweise in der Edition „Liqid Element LQD4500“ oder „Liqid NVMe-oF“.

Honey Badger ist eine NVMe-basierte Composable-Storage-Architektur für die anspruchsvollsten HPC-Anwendungsumgebungen der nächsten Generation. Liqid hat vor einiger Zeit einen Linux-Server mit der Composable-Storage Honey Badger ausgestattet und dem Linux-Erfinder Linus Torvalds zur Verfügung gestellt, um seine Meinung zu der adaptiven Datenleistung einzuholen.

Torvalds nahm den Liqid-Server mit KI-Arbeitslasten auf die Probefahrt. Seine Reaktion im O-Ton: „H0ly S#!T!“ Das mag (noch) kein anerkannter Benchmark sein, aber in gewissen Kreisen trägt die Meinung von Torvalds immer noch ein besonderes Gewicht.

H0ly S#!T!

Auf den Host-Servern von Liqid Thinktank läuft „Ubuntu“ Linux von Canonical mit einem KI-Software-Stack, wahlweise „Nvidia EGX“ oder „AMD ROCm“, darüber hinaus die Frameworks „Tensorflow“, „Pytorch“ oder „Kokkos“. Alternativ lassen sich auf den Systemen benutzereigene GPU-beschleunigte HPC-Arbeitslasten ausführen.

Als CPU wählte Liqid die Single/Dual AMD 2643 mit bis zu 2 TB RAM. In der größten Ausbaustufe, XR, belegt das System 38 Rack-Einheiten und „saugt“ zwischen 9.400 Watt und 17.200 Watt an Leistung. PCIe-Geräte kommunizieren direkt miteinander, sowohl innerhalb als auch zwischen CDI-Erweiterungsgehäusen und umgehen dabei die CPU des Host-Systems.

Liqid Matrix integriert sich mit „Slurm“ und „VMware vCenter“. Slurm ist eine beliebte quelloffene Orchestrierungs-Engine in HPC-Umgebungen. vCenter ist die Management-Software von VMware, die „vSphere“-Umgebungen verwaltet.

Günstiger als Nvidia und geringfügig langsamer

Das Thinktank X4-Basissystem mit vier MI100-Beschleunigern kostet so um die 150.000 Dollar und ist damit nur halb so teuer wie das „DGX-A100-System von Nvidia.

Die Composable-Infrastructure-Implementierung von Liqid erhöht die Latenz um zusätzliche 150ns.

Mit CXL zu disaggregiertem (Arbeits)speicher

Liqid hat sich mit Samsung und Tanzanite Silicon Solutions zusammengetan, um reale Composable-Memory-Szenarien über das Compute Express Link (CXL) 2.0-Protokoll zu modellieren. Liqid hat zu dem Projekt seine CDI-Software Matrix (Composable Disaggregated Infrastructure) beigesteuert.

Blaupause für das maßgeschneiderte Rechenzentrum

Was ist der Compute Express Link?

CXL ist ein Cache-kohärenter Interconnect für Prozessoren, Speichererweiterungen und Beschleunigungssysteme, der hauptsächlich von Intel entwickelt wurde. Es ist ein offener Standard für ein Verbindungsprotokoll der nächsten Generation, das auf der physischen und elektrischen PCIe-Schnittstelle aufbaut. Es hat die Aufgabe, DRAM von der CPU zu entkoppeln, um Disaggregation und Composability zu ermöglichen.

Das CXL-Konsortium hat im November 2021 die Spezifikationen von Gen-Z und im August 2022 jene von OpenCAPI (IBM) übernommen und soll diese fortan ganz offiziell weiterentwickeln, um die drei Standards miteinander zu verschmelzen. HPE (Gen-Z), IBM (OpenCAPI), Xilinx (ein Verfechter von CCIX), Mellanox (InfiniBand/RoCE), AMD (infinity Fabric) und Nvidia (NVLink/NVSwitch) stehen auch schon bereits dahinter.

Orchestrieren des Big-Memory-Gewebes

Ein breites Spektrum moderner datenintensiver Workloads benötigt eine neuartige Speicherarchitektur, welche über flüchtiges DRAM und persistentes SCM (Storage Class Memory) weit hinausgeht. In Anlehnung an Big Data ist hierbei von "Big Memory" die Rede.

Disaggregierter virtualisierter (Arbeits)speicher schafft eine verteilte, via Netzwerkgewebe verbundene Ressource, die sich nach dem Vorbild von Anwendungscontainern und als Teil der Composable Infrastructure orchestrieren lässt. Liqid arbeitet mit Intel und Memverge, dem Pionier von Big-Memory-Lösungen, zusammen, um Composable-Memory-Lösungen für Big-Memory-Computing zu entwickeln.

Mit der CDI-Software Liqid Matrix und der Software „Memory Machine“ von Memverge lassen sich DRAM und SCM wie Intels persistenter Arbeitsspeicher „Optane PMem“ disaggregieren, zusammenfassen und in flexiblen Konfigurationen mit NVMe-Datenspeichergeräten sowie Hardwarebeschleunigern wie GPUs, FPGAs und anderen orchestrieren.

Diese Techniken bieten eine beispiellose Skalierbarkeit für speicherintensive Anwendungen in einer Vielzahl von Kundenanwendungen, von KI/ML über In-Memory-Datenbanken und Datenanalyse bis hin zu HPC, um individuelle Workload-Anforderungen punktegenau zu erfüllen.

Am Anschlag

Ein Private-Cloud-Rechenzentrum auf die Beine zu stellen sei wie der Vorsatz, mal eben einen Rennwagen der Spitzenklasse zu bauen, sinniert Seagate auf der eigenen Webseite. Man müsse „den richtigen Motor, die richtigen Bauteile und die richtige Gerätetechnik“ aussuchen, um das volle Leistungspotential der Piste auszuloten und zugleich die -Anforderungen des „Fahrers“ zu erfüllen. Mit dem Ansatz „Composable“ könnten IT-Ingenieure ein Rechenzentrum „mit dem Leistungsprofil eines Lamborghinis“ bauen anstelle sich mit einer „Klapperkiste von gestern“ abspeisen lassen zu müssen.

Doch eigentlich hinkt dieser Vergleich. Composable-Architecture hat vielmehr das Ziel, aus allen disaggregierten Bauteilen in der „Werkstatt“ für jede zu befahrende Rennpiste die maximale Anzahl von Rennwagen zu bauen, damit möglichst viele Fahrer eine Chance bekommen, für die eigene Marke ins Ziel zu kommen.

Anspruchsvolle Anwendungen erfordern mehr Verarbeitungs- und Speicherleistung, als das herkömmliche 'geclusterte' Rechenzentrum so auf Anhieb bereitstellen kann. Diese Arbeitslasten ändern sich zudem schneller, als sich die Hardwarekomponenten der Knoten in einem Cluster für zusätzliche Leistung aufstocken lassen. Jedes Rennen findet auf einer anderen Piste statt. Mal braucht der Rennwagen mehr GPU, mal mehr Arbeitsspeicher, mal mehr Konnektivität.

Eine bisher unerreichte Flexibilität

IT-Architekten haben unter normalen Bedingungen keine Möglichkeiten, einen Teil der Leistung von einem System oder von einem Cluster zu einem anderen zu verschieben, um dem geänderten Bedarf Rechnung zu tragen. Der Ressourcenpool, aus dem die betreffenden Anwendungen schöpfen können, ist streng auf die Kapazitätsgrenzen des jeweiligen Systems limitiert und über die Zeit unveränderlich.

Wenn die Anforderungen steigen, ist neue Leistung von woanders her im Rechenzentrum unmöglich zu beschaffen und wenn sie sinken sollten, würden die nicht benötigten Komponenten einfach ungenutzt herumliegen, obwohl sie sich woanders sicherlich produktiv einbringen, ließen für die Energie, die sie ansonsten nutzlos ver(sch)wenden müssen.

Mit Composable Infrastructure ist es möglich, die überschüssige Leistung in Echtzeit via Netzwerkgewebe dahin zu verlagern, wo sie gebraucht werden kann.

Analysten von Seagate erwarten in Zukunft ein verstärktes Aufkommen Composability-fähiger GPUs, FPGAs und Arbeitsspeicher-Architekturen dank Schnittstellen mit extrem niedriger Latenz wie eben CXL. Die Lösungen von Liqid sind sicherlich erst der Anfang.

*Das Autorenduo Anna Kobylinska und Filipe Pereia Martins arbeitet für McKinley Denali Inc. (USA).

(ID:48848316)