Künstliche Intelligenz ganz schnell, ganz nah

Die Nvidia-Plattform für KI in der Echtzeit-Edge

| Redakteur: Ulrike Ostler

Alle bisherigen „Nvidia EGX“-Systeme auf einen Blick.
Alle bisherigen „Nvidia EGX“-Systeme auf einen Blick. (Bild: Nvidia)

Nvidia bringt die Plattform „EGX“ auf den Markt. Sie ist gedacht für Edge-Server, die Echtzeitanwendungen zur Verfügung stellen sollen: etwa Streaming-Daten in der Telekommunikation, Applikationen im Gesundheitswesen, in der Fertigung, im Einzelhandel und im Transportwesen.

Nvidia EGX“ sollen Unternehmen nutzen, um Anwendungen, die Künstliche Intelligenz verwenden und niedrige Latenzen benötigen, an der Edge auszuführen. Das kann sowohl für kontinuierliches Streaming in Echtzeit zwischen 5G-Basisstationen der Fall sein, aber auch beim Datenaustausch zwischen Lagern, Einzelhandelsgeschäften, Fabriken. Zugleich soll die Plattform dazu beitragen, dass sich die Datenmenge reduziert, die in die Cloud übertragen werden muss.

Edge-Computing lässt sich nicht ohne Internet of Things (IoT) beziehungsweise Industrie 4.0 denken. Im Whitepaper „Data Age 2025: The Digitization of the World from Edge to Core“ vom November 2018, das von Seagate gesponsert wurde, gehen IDC-Analysten davon aus, dass bis 2015 rund 150 Milliarden Maschinensensoren und IoT-Geräte kontinuierliche Daten streamen, die verarbeitet werden müssen – das entspricht einer Größenordnung, die mehr Geräte umfasst als es heute Einzelpersonen auf der Welt gibt, die Smartphones verwenden.

Bob Pette, Vice President und General Manager of Enterprise and Edge Computing bei Nvidia, sagt: „Unternehmen benötigen leistungsfähigere Computer an der Edge, um ihre Ozeane an Rohdaten zu verarbeiten - Streaming aus unzähligen Interaktionen mit Kunden und Einrichtungen - um schnelle, kI-gestützte Entscheidungen zu treffen, die ihr Geschäft voranbringen können. Eine skalierbare Plattform wie Nvidia EGX ermöglicht es ihnen, Systeme einfach und bedarfsgerecht vor Ort, in der Cloud oder beides einzusetzen.“

KI-Plattform im Hosentaschenformat: Mit 70 x 45 Millimetern ist das Modul „Jetson Nano“ das kleinste Jetson -Device.
KI-Plattform im Hosentaschenformat: Mit 70 x 45 Millimetern ist das Modul „Jetson Nano“ das kleinste Jetson -Device. (Bild: Nvidia)

Von ... bis

EGX beginnt mit dem winzigen „Nvidia Jetson Nano“, der in wenigen Watt eine halbe Billion Operationen pro Sekunde (TOPS) in der Verarbeitung für Aufgaben wie der Bilderkennung bereitstellen kann. Das Angebot reicht aber bis zu einem vollen Rack von „Nvidia T4“-Servern und liefert mehr als 10.000 TOPS für die Echtzeit-Spracherkennung und andere Echtzeit-KI-Aufgaben.

Mehr Anwendungen

Für eine Erweiterung auf der Softwareseite sorgt eine Partnerschaft mit Red Hat: Dieser erlaubt „Nvidia Edge Stack“ mit der Kubernetes Container-Orchestrierungsplattform „red hat OpenShift“, zu integrieren und zu optimieren.

Der „Nvidia Edge Stack“ und „Red hat Openshift“ lassen sich nun kombinieren.
Der „Nvidia Edge Stack“ und „Red hat Openshift“ lassen sich nun kombinieren. (Bild: Nvidia)

Edge Stack enthält Nvidia-Treiber, ein „Cuda“-Kubernetes-Plugin, eine Cuda-Container-Laufzeit-Umgebung, „Cuda-X“-Bibliotheken und containerisierte AI-Frameworks und -Anwendungen, einschließlich „TensorRT“, „TensorRT Inference Server“ und „Deep Stream“. Der Stack ist für zertifizierte Server optimiert und kann von der „Nvidia NGC“ Registry heruntergeladen werden.

On-Prem KI als Cloud-in-a-Box

EGX kombiniert die gesamte Bandbreite der Nvidia AI-Computertechniken mit Red Hat OpenShift und Nvidia Edge Stack sowie Mellanox und Cisco Sicherheits-, Netzwerk- und Speichertechnik. Michael Kagan, Chief Technology Officer bei dem jüngst von Nvidia übernommenen Unternehmen Mellanox Technologies, sagt: „Mellanox‘ „Smart NICs“ und Switches bieten die ideale I/O-Konnektivität für den Datenzugriff, die vom Edge bis zum hyperskaligen Rechenzentrum reicht.“

Hybrid-Cloud und Multicloud IoT

Nvidia AI Computing wird von großen Clouds angeboten und ist auf der Architekturebene kompatibel mit Nvidia EGX. In der Cloud entwickelte KI-Anwendungen können somit auf den Edge-Devices laufen und umgekehrt. Zudem verbindet sich Edge Stack mit den wichtigsten Cloud IoT-Diensten, und Kunden können ihren Service über „AWS IoT Greengrass“ und „Microsoft Azure IoT Edge“ remote verwalten.

Die Applikationen

Keine Plattform kommt ohne Anwendungen aus. Deshalb verweist Nvidia auf eine breite Unterstützung aus der Entwicklergemeinde und somit auf ein wachsenden Ökosystem von Applikationen. Dazu gehören Video-Analysen, die sich für große Einzelhandelsketten und Smart Cities eignen, von Anbietern wie Anyvision, Deepvision, Ironyun und Malong Technologies sowie Software für das Gesndheitswesen von 12 Sigma, Infervision, Qunatib und Subtle Medical.

Die Hardwarelieferanten

Außerdem sind mittlerweile EGX-Server bei globalen Enterprise Computing-Anbietern wie Atos, Cisco, Dell EMC, Fujitsu, Hewlett Packard Enterprise, Inspur und Lenovo erhältlich. Ferner gibt es sie bei den Server- und IoT-Systemherstellern Abaco, Acer, Adlink, Advantech, Asrock Rack, Asus, Avermedia, Cloudian, Connect Tech, Curtiss-Wright, Gigabyte, Leetop, Miivii, Musashi Seimitsu, QCT, Sugon, Supermicro, Tyan, WiBase und Wiwynn.

Die ersten Anwender

Zu den Early Adopters gehören mehr als 40 bekannte Unternehmen und Organisationen. Dazu gehört auch die BMW Group Logistik. Basierend auf EGX Edge Computing und „Isaac“Roboterplattformen ist das Unternehmen in der Lage, die KI direkt an den Rand ihrer Logistikprozesse zu bringen und eine immer komplexere Abläufe mit Echtzeit-Effizienz zu bewältigen.

Mark Chien, General Manager der Foxconn D Gruppe, erläutert seine Anwendung: „Die Foxconn-PC-Produktion ist durch die Inspektionsgeschwindigkeit begrenzt. Derzeit dauert es vier Sekunden, bis jedes Teil manuell geprüft wird. Unser Ziel ist es, den Durchsatz der PC-Produktionslinie mit der Nvidia EGX-Plattform um über 40 Prozent zu steigern. Unser Modell erkennt und klassifiziert 16 Fehlertypen und -orte gleichzeitig mit schnellen neuronalen Netzwerken, die auf den Nvidia-Grafikprozessoren laufen und eine Genauigkeit von 98 Prozent erreichen, besser als es Menschen können.“

Bei Seagate gibt es eine ähnliche Anwendung, die Bruce King, leitender Datenwissenschaftler bei Seagate Technology beschreibt: „In unseren Produktionsstätten haben wir eine intelligente Edge-GPU-basierte Bildverarbeitungslösung eingesetzt, um die Qualität unserer Festplatten-Schreib-/Leseköpfe zu überprüfen. Die Nvidia EGX-Plattform beschleunigt die Inferenz am Rand drastisch und ermöglicht es uns, Fehler zu erkennen, die menschliche Bediener in der Vergangenheit nicht sehen konnten. Wir gehen davon aus, dass wir eine Verbesserung des Fertigungsdurchsatzes um bis zu 10 Prozent und einen ROI von bis zu 300 Prozent durch verbesserte Effizienz und bessere Qualität erzielen werden.“

Was meinen Sie zu diesem Thema?

Schreiben Sie uns hier Ihre Meinung ...
(nicht registrierter User)

Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
Kommentar abschicken
copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 45947541 / Komponenten)