Grace und Bluefield sorgen für einen enormen Performace-Boost Die erste Nvidia-CPU - gedacht für KI und High Performance Computing

Redakteur: Ulrike Ostler

Nicht Grace Kelly, sondern die Computerpionierin Grace Brewster Murray Hopper ist die Namensgeberin der angekündigten Nividia-CPU „Grace“. Laut Jensen Huang, der am gestrigen Abend die Konferenz „GTC21“ eröffnet hat, bedeutet diese auf ARM-Kernen basierende Recheneinheit einen zehnfachen Leistungssprung für Systeme, die riesige Modelle der Künstlichen Intelligenz (KI) trainieren.

Firmen zum Thema

Zur „GTC21“ hat Nvidia-Chef Jensen Huang die erste CPU des Unternehmens vorgestellt. Ab Frühjahr 2023 soll sie marktreif sein und erste Kunden gibt es auch schon.
Zur „GTC21“ hat Nvidia-Chef Jensen Huang die erste CPU des Unternehmens vorgestellt. Ab Frühjahr 2023 soll sie marktreif sein und erste Kunden gibt es auch schon.
(Bild: Nvidia)

Noch gehört ARM nicht zum Nvidia-Konzern. Dennoch hat das Unternehmen gestern seine erste Rechenzentrums-CPU vorgestellt.

Der Hauptprozessor sei das Ergebnis von mehr als 10.000 Entwicklungsjahren, so Nvidia-CEO Huang. Er soll in Anwendungen zum Einsatz kommen, in denen Modelle zur Verarbeitung natürlicher Sprache, für Empfehlungssysteme und im KI-Supercomputing trainiert werden müssen. Dafür sind enorme Datensätze und aus heutiger Sicht ultaschnelle Berechnungen sowie massive Speicher vonnöten.

In Grace werden die ARM-CPU-Kerne, die als Energie-effizient gelten, mit Low-Power-Speicher-Subsystemen kombiniert. Die Verfügbarkeit ist für Anfang 2023 geplant.

Die Voraussetzungen

2023 sollen auch die ersten Supercomputer, der mit Grace ausgestattet sein sollen, an den Start gehen. Kunden sind das CSCS Swiss National Supercomputing Centre und das Los Alamos National Laboratory. Die Cluster baut Hewlett Packard Enterprise (HPE).

Laut Huang ist eine CPU für dieses Segment notwendig, da das Datenvolumen und die Größe der KI-Modelle exponentiell wachsen. Die größten KI-Modelle von heute umfassen Milliarden von Parametern und deren Anzahl verdoppelt sich alle zweieinhalb Monate. Ihr Training erfordert laut Huang eine CPU, die eng mit einer GPU gekoppelt werden kann, um Systemengpässe zu beseitigen, bisher existente x86er Prozessoren könnten das nicht.

Von 2018 bis heute hat sich die Zahl der Parameter als 2,5 Monate verdoppelt.
Von 2018 bis heute hat sich die Zahl der Parameter als 2,5 Monate verdoppelt.
(Bild: Nvidia)

„Führende KI und Data Science bringen die Computerarchitektur schon heute an ihre Grenzen,“ so Huang, etwa weil „unvorstellbare Datenmengen“ in immer kürzerer Zeit verarbeitet werden müssten. „Unter Verwendung lizenzierter Arm-IP hat Nvidia mit Grace eine CPU speziell für KI und HPC im Riesenformat entwickelt. Zusammen mit der GPU und der DPU gibt uns Grace die dritte grundlegende Technologie für das Computing und die Möglichkeit, das Rechenzentrum neu zu gestalten, um KI voranzutreiben. Nvidia ist jetzt ein Drei-Chip-Unternehmen.“

Grace zielt auf Workloads wie das Training von NLP-Modellen (NLP = Natural Language Processing), die in der kommenden Generation mehr als 1 Billion Parameter haben werden. Die Grundlage für die Leistung von Grace ist einmal die weltweit am häufigsten lizenzierte Prozessorarchitektur ARM. ARM-CEO Simon Segars, sagt: „Die Einführung der Grace Rechenzentrums-CPU zeigt deutlich, wie das Lizenzierungsmodell von ARM eine wichtige Erfindung ermöglicht, die die unglaubliche Arbeit von KI-Forschern und Wissenschaftlern überall unterstützen wird.“

DIe Nvidia-CPU-Bestandteile

Außerdem steckt in Grace die Interconnect-Technologie von Nvidia NVLink, die mittlerweisl in der der vierten Generation vorliegt. Sie ermöglicht nach jetzigen Stand eine Rekordverbindung von 900 Gigabit pro Sekunde zwischen Grace und den Nvidia-Grafikprozessoren. Damit kommt die Technik auf eine 30-fach höhere Gesamtbandbreite im Vergleich zu heutigen Servern führender Hersteller.

Grace wird außerdem ein „LPDDR5x- Speichersubsystem verwenden, das im Vergleich zu DDR4-Speicher eine doppelt so hohe Bandbreite und eine 10-fach bessere Energie-Effizienz erlaubt. Darüber hinaus bietet die neue Architektur eine einheitliche Cache-Kohärenz mit einem einzigen Speicheradressraum und kombiniert System- und HBM-GPU-Speicher, um die Programmierbarkeit zu vereinfachen.

Grace wird durch das HPC Software Development Kit von Nvidia und die komplette Suite „CUDA“ und durch „CUDA-X“-Bibliotheken unterstützt. Schon jetzt beschleunigen sie laut Hersteller mehr als 2.000 GPU-Anwendungen und damit die Entdeckungen von Wissenschaftlern und Forschern, die an den wichtigsten Herausforderungen der Welt arbeiten, beschleunigen.

Tatsächlich sind es Forschungseinrichtungen, die sich bereits als künftige Grace-Anwender zitieren lassen. So sagt CSCS-Direktor Professor Thomas Schulthess: „Die neuartige Grace-CPU ermöglicht es uns, KI-Technologien und klassisches Supercomputing zu konvergieren, um einige der schwierigsten Probleme in der Computational Science zu lösen. Wir freuen uns, die Nvidia-CPU unseren Nutzern in der Schweiz und weltweit für die Verarbeitung und Analyse massiver und komplexer wissenschaftlicher Datensätze zur Verfügung zu stellen."

Artikelfiles und Artikellinks

(ID:47341878)