Ein Stäbchen für die Deep-Neural-Network-Inferenz Künstliche Intelligenz, komprimiert auf den Neural Compute Stick 2 von Intel

Anbieter zum Thema

Codico GmbH

Stäubli TEC-Systems GmbH Connectors

Vertiv GmbH

Schneider Electric GmbH

Der „Intel Neural Compute Stick 2“ ist ein kleines, lüfterloses Deep-Learning-Gerät, mit dem Entwickler die Programmierung Künstlicher Intelligenz am Edge erlernen können.

Der Neural Compute Stick 2 (NCS2) basiert auf der verbesserten leistungsstarken Vision Processing Unit (VPU) „Movidius Myriad X“ von Intel mit 16 Rechnerkernen, Shave (Streaming Hybrid Architecture Vector Engine) genannt und einer dedizierten Hardware-Beschleunigungseinheit für Deep-Neural-Network-Inferenz-Anwendungen. NCS2 liefert die 8-fache Leistung verglichen mit der Vorgängergeneration, dem Movidius Neural Compute Stick (NCS), bei typischen Anwendungen wie Objekterkennung und Bildklassifzierung.

Die Myriad X VPU hat weitere Upgrades für Imaging- und Vision-Engines erhalten, darunter zusätzliche programmierbare Shave-Cores, erweiterte Vision-Beschleuniger sowie eine neue native 4K-ISP-Pipeline mit Unterstützung für bis zu 8-HD-Sensoren, die direkt mit der VPU verbunden sind.

Bildergalerie

Movidius VPU, hohe Leistung bei geringem Stromverbrauch

Intels Movidius VPUs wurden speziell für hohe Performance bei extrem niedrigem Leistungsbedarf für die Bildverarbeitung und KI-Workloads entwickelt. Bei einem Verbrauch von rund einem Watt erreicht die bisherige Visual Processing Unit Myriad 2 laut Intel eine Rechenleistung von 100 Gigaflops bei halber Genauigkeit (FP16, Half Precision). Diese VPU ist bereits in Millionen von intelligenten Sicherheitskameras, gestengesteuerten Drohnen und beispeilsweise industriellen Bildverarbeitungsgeräten zu finden. Die Myriad X hingegen erreicht bis zu 4 Teraops sowie rund 1 Teraops bei der Berechnung von neuronalen Netzwerken.

Die Designprinzipien für Intels Movidius Myriad VPUs basieren auf einer sorgfältigen Abstimmung von programmierbaren Vektorprozessoren, dedizierten Hardwarebeschleunigern und Speicherarchitektur für einen optimierten Datenfluss. Myriad VPUs verfügen über ein softwaregesteuertes, mehrkerniges, mehrkanaliges Speichersubsystem und Caches, die so konfiguriert werden können, dass sie eine Vielzahl von Work-loads ermöglichen. Diese proprietäre Technologie ermöglicht eine außergewöhnlich hohe nachhaltige On-Chip-Daten- und Befehlsbandbreite zur Unterstützung einer Reihe von Shave-Prozessoren, zwei CPUs und Hochleistungs-Videohardwarebeschleunigern.

Der Shave-Prozessor eint die besten Eigenschaften von GPUs, DSPs und RISC

Um eine dauerhaft hohe Leistung zu gewährleisten und den Stromverbrauch zu minimieren, enthält der Movidius-eigene Shave-Prozessor breite und tiefe Registerdateien in Verbindung mit einem VLLIW (Variable-Length Long Instruction-Word), das mehrere Funktionseinheiten steuert, einschließlich einer umfangreichen SIMD-Fähigkeit für hohe Parallelität und Durchsatz auf Funktionseinheits- und Prozessorebene.

Der Shave-Prozessor ist eine hybride Stream-Prozessorarchitektur, die die besten Eigenschaften von GPUs, DSPs und RISC mit 8-/16-/32-Bit-Ganzzahl und 16-/32-Bit-Fließkommaarithmetik sowie herausragende Funktionen wie Hardware-Unterstützung für reduzierte Datenstrukturen kombiniert. Die Architektur wurde entwickelt, um die Leistung pro Watt zu maximieren und gleichzeitig eine einfache Programmierbarkeit zu gewährleisten, insbesondere im Hinblick auf die Computer-Vision und die Arbeitsbelastung durch maschinelles Lernen.

Tiefe neuronale Netzwerke mit Myriad VPUs

Für den Einsatz von Deep-Learning-Anwendungen auf dem Gerät sind Leistung und Präzision bei sehr geringem Stromverbrauch entscheidend. Die Movidius-Myriad-VPU-Plattform von Intel hat eine Reihe von Schlüsselelementen, die für den Betrieb tiefer neuronaler Netzwerke geeignet sind.

• Leistung: Die Leistung der Myriad-Shave-Prozessoren erreicht die Hunderte von GFLOPS, die für die Berechnung der fundamentalen Matrix-Multiplikation benötigt werden. Diese ist für tief lernende Netzwerke mit verschiedenen Topologien nötig.

• On-Chip-RAM: Tiefe neuronale Netze erzeugen große Datenmengen. All dies auf dem Chip zu halten, ermöglicht es den Kunden, die Bandbreite, die sonst zu Leistungsengpässen führen würde, erheblich zu reduzieren.

• Flexible Präzision: Native Unterstützung für gemischte Präzision und Hardwareflexibilität und die Fähigkeit, Deep-Learning-Netzwerke mit branchenführender Leistung bei bester Energieeffizienz zu unterstützen, wird durch die Flexibilität von Myriad in Bezug auf gemischte Präzision unterstützt. Sowohl 16-Bit- als auch 32-Bit-Fließkomma-Datentypen sowie u8- und unorm8-Typen werden unterstützt. Zusätzliche Hardware-Beschleuniger ermöglichen die nötige Flexibilität für eine hohe Performance bei der Faltungsberechnung.

• Leistungsstarke Bibliotheken: Das Entwicklungskit enthält spezielle Software-Bibliotheken, abgestimmt auf die Architektur, um eine nachhaltige Performance bei Matrix-Multiplikation und multidimensionaler Faltung zu unterstützen.

Einsatzgebiete für intelligentes Maschinensehen

In puncto „Smart Security“ erhält die Sicherheits- und Überwachungstechnologie einen enormen Schub durch tiefgehende, lernbasierte Videoanalyse. Beispielsweise eine Klingelkamera, die den Anwender nicht nur auf einen Besucher aufmerksam macht, sondern letzteren bereits als Kurier identifiziert hat.

• Visuell intelligente Kameras können Brände aus Heat Maps erkennen und Home-Security-Produkte können nicht nur erkennen, wer zu Hause ist, sondern auch ungewöhnliche Situationen automatisch markieren. Indem wir die Intelligenz von Intels Movidius Myriad VPU in unsere Sicherheits- und Überwachungssysteme integrieren, können diese neuen Systeme Daten in Echtzeit erkennen und dann intelligent darauf reagieren, um Hausbesitzern und Unternehmen gleichermaßen sichere und personalisierte Sicherheit zu bieten.

• Drohnen und Haushaltsroboter werden immer kleiner und erschwinglicher, um zu ernsthaften Konsumgüterkategorien zu werden. Da neue Arten von Service-, Begleit- und Collaborations-Robotern auftauchen, verlangen diese Geräte visuelle Intelligenz, um uns in unserem täglichen Leben zu navigieren, zu verstehen und proaktiv zu unterstützen. Intel Movidius bietet die Plattform, um visuell intelligente Drohnen und Roboter zu erstellen ohne dabei an Größe, Akkulaufzeit oder Leistung einzubüßen.

• Geräte aus der Virtual Reality (VR) und Augmented Reality (AR) kommen auf den Markt und die technologischen Anforderungen an die Hardware sind enorm: Gestenerkennung, Headtracking und Objekterkennung sind nur einige der notwendigen Technologien, um die reale Welt überzeugend mit der digitalen zu verschmelzen. Intels Technologie Movidius Myriad VPU ermöglicht es VR- und AR-Geräten, große Datenmengen bei geringem Stromverbrauch und extrem nie-driger Latenz zu verarbeiten – zwei absolute Must-Haves für kompakte, kopfgetragene Geräte.

• Wearables entwickeln sich zu einer Kategorie von Geräten, die unser Leben sinnvoll ergänzen können. Durch die passive Filterung von visuellen Informationen und das Einwirken auf die für den Benutzer relevanten Hinweise ist der Traum von einem wirklich leistungsfähigen digitalen Assistenten in Sicht. Ultra-Low-Power-, High-Performance-Vision-Prozessoren bedeuten, dass auch die kleinsten tragbaren Geräte von visueller Intelligenz profitieren können. Movidius VPUs ermöglichen es, Geräte klein und batterieeffizient zu halten und dennoch leistungsstarke neue Anwendungen bereitzustellen, die auf der reichen Vielfalt an visuellen Informationen basieren, die dem Benutzer im täglichen Leben zur Verfügung stehen.

Hinweis: Dieser Artikel entstammt dem Partnerportal „Elektronik Praxis“.

* Achim Stahl ist Product Manager bei Codico in Perchtoldsdorf bei Wien.

(ID:45779036)