MLPerf 1.1 Benchmark KI-Inferenz nun auch auf ARM-CPUs möglich

Nvidia hat im neuen MLPerf 1.1 Benchmark bei den Inferenztests als Bester abgeschnitten, nicht nur auf x86-Hardware, sondern auch auf einem ARM-Server, denn der Hersteller erweitert sein Spektrum auf Edge Server. Jüngste Nvidia-Software ermöglicht Leistungszuwächse um bis zu 20 Prozent.

Der MLPerf 1.1 Benchmark, der seit 2018 von MLCommons betreut wird, erlaubt Inferenz-Tests in den verbreitetsten KI-Workloads, darunter Computeroptik, medizinische Bildgebung, Sprachverarbeitung, Empfehlungssysteme, Reinforcement Learning und mehr. Inferenz ist die Anwendung von Machine-Learning- und Deep-Learning-Modellen auf Datenmengen, um die Modelle und Ergebnisse zu verbessern. Zu den Anwendungsgebieten gehören Betrugserkennung, Bildsegmentierung und Grammatikprüfung.

Bildergalerie

Bildergalerie mit 9 Bildern

Nvidia vermeldet, dass es eine Reihe dieser Benchmarks auf seiner „A100“-GPU ausgeführt habe. Erstmals seien dabei nicht nur x86-basierte CPUs, sondern auch ARM-basierte Server eingesetzt worden. Hinsichtlich Leistung und Energie-Effizienz sei die Nvidia A100 als Sieger hervorgegangen (siehe: Abbildungen).

GPUs auf ARM

Dass ARM-CPU-basierte Server eine reelle Option sowohl für das Rechenzentrum als auch für die Edge sind, belegen die Ergebnisse des Benchmark-Tests. Darin hat die von Nvidia genutzte „Ampere Altra“-CPU von Ampere Computing sogar eine x86-basierte Server-CPU geschlagen.

Dave Salvator, Senior Product Manager, AI Inference and Cloud, bei Nvidia, sagte bei der Präsentation der Benchmark-Ergebnisse: „ARM-basierte Server, die mit einer GPU ausgestattet sind, liefern bei KI-Inferenz-Aufgaben die gleiche Performance wie ähnlich konfigurierte x86-basierte Server.“ Er hebt auch die Energie-Effizienz und das wachsende Software-Ökosystem der ARM-Plattform hervor. „In einer der Testdisziplinen war unsere Arm-CPU/GPU sogar einem x86-basierten System überlegen.“

Die Rolle der Software

Sieben OEMs, wie etwa Dell EMC, ließen 22 GPU-beschleunigte Plattformen im MLPerf 1.1 an den Start gehen, berichtet Salvator. Die meisten seien Nvidia-zertifiziert und viele unterstützten die im August vorgestellte Software-Plattform „Nvidia AI Enterprise“. Diese Software-Plattform sei für eine Leistungssteigerung um 20 Prozent und eine Steigerung der Energie-Effizienz um 15 Prozent gegenüber den vor vier Monaten erzielten Benchmark-Ergebnissen verantwortlich.

Zu den Software-Tools gehören das „Nvidia TAO Toolkit“, die Software „Nvidia TensorRT“ sowie die auf Kubernetes aufsetzende Server-Software „Nvidia Triton“. Mit deren Hilfe sei es möglich, auf den acht Partitionen einer A100 GPU sieben MLPerf-Tests auf virtuellen GPU-Instanzen (Multi-Instance GPU, MIG) auszuführen. So kann der Nutzer jeden Test ausführen, den er haben will, ohne dabei ein Profi-Programmierer sein zu müssen.

(ID:47700753)