Für KI-Anwendungen in Edge-Geräten NXP bringt i.MX-Prozessoren mit neuronaler Verarbeitungseinheit heraus

Die heterogenen NXP- Prozessoren „i.MX 8M Plus“ bieten einen dedizierten neuronalen Netzwerkbeschleuniger, ein unabhängiges Echtzeit-Subsystem, Dual-Kamera-ISP sowie Hochleistungs-DSP und -GPU für Edge-Anwendungen. Vorgestellt wurden die Inference-Einheiten auf der „CES 2020“, die kürzlich in Las Vegas stattfand. Testversionen sind noch in diesem Quartal erhältlich.

Anbieter zum Thema

IBM Deutschland GmbH

AixpertSoft GmbH

Fujitsu Technology Solutions GmbH

NXP Semiconductors Germany GmbH

NXP Semiconductors NV erweitert sein „Edgeverse“-Portfolio um den Anwendungsprozessor i.MX 8M Plus, nach Herstellerangaben das erste Mitglied der i.MX-Familie, das über einen dedizierten Neuralprozessor (Neural Processing Unit, NPU) für maschinelles Lernen in IoT- und Industrial-IoT-Geräten verfügt.

Der i.MX 8M Plus kombiniert eine die NPU mit 2,3 TOPS (Tera Operations Per Second) mit einem Quad-Core „Arm Cortex-A53“ -Subsystem, das mit bis zu 2 Gigahertz (GHz) läuft, ein unabhängiges Echtzeit-Subsystem mit einem „800M Hz Cortex-M7“, einem hochleistungsfähigen 800 MHz Audio-DSP (Digital Signal Processor) für die maschinelle Sprachverarbeitung, Dual-Kamera-Bildsignalprozessoren (ISP) und einem 3D-Grafikprozessor für die Grafikwiedergabe.

Mit der Kombination aus „“Cortex-A53„ -Cores und NPU können Edge-Geräte intelligente Entscheidungen vor Ort treffen, indem sie ohne oder fast ohne menschlichen Eingriff lernen und entsprechende Rückschlüsse ziehen. Die Bandbreite der mit dem laut Hersteller „kostengünstigen i.MX 8M Plus“ ermöglichten Anwendungen reicht von der Personen- und Objekterkennung für die öffentliche Sicherheit und der Bildverarbeitung für Industrieanwendungen über die Robotik bis zur Handgesten- und Emotionserkennung mit natürlicher Sprachverarbeitung für nahtlose Mensch-Maschine-Interaktion mit ultrakurzer Reaktionszeit und hoher Genauigkeit.

Für Edge-Geräte mit Multimediafunktionen

Die NXP-Recheneinheit basiert auf der 14-Nanometer „LPC-FinFET“-Technologie und kann mehrere komplexe neuronale Netzwerke gleichzeitig ausführen, wie Multi-Objekt-Identifikation, Spracherkennung von mehr als 40.000 englischen Wörtern und medizinische Bildgebung. Die NPU ist in der Lage, über 500 Bilder pro Sekunde in „Mobilenet“, einem beliebten Bildklassifikationsnetzwerk, zu verarbeiten.

Entwickler können KI-Inferenzfunktionen auf die NPU auslagern, so dass sich die Cortex-A- und Cortex-M-Cores, DSP und GPUs andere Aufgaben auf Systemebene oder auch Benutzeranwendungen ausführen lassen.

Die Bildverarbeitung wird durch zwei integrierte ISPs gewährleistet, die zwei High-Definition-Kameras für Echtzeit-Stereo-Bilder oder eine einzelne Kamera mit 12 Megapixel Auflösung unterstützen und High Dynamic Range (HDR) und eine Fischaugen-Objektivkorrektur bieten. Diese Funktionen ermöglichen Bildverarbeitungsanwendungen in Echtzeit wie Überwachung, intelligente Anwendungen im Einzelhandel, Robot Vision und Gesundheitsmonitoring.

Um Sprachanwendungen zu ermöglichen, verfügt der Prozessor über einen HiFi 4 DSP, der die natürliche Sprachverarbeitung um die Vor- und Nachbearbeitung von Sprachströmen erweitert. Die Cortex-M7-Domäne kann für Echtzeit-Response-Systeme verwendet werden, während der Anwendungsprozessor komplexe Nicht-Echtzeit-Anwendungen ausführt. So lässt sich der Stromverbrauch auf Systemebene reduzieren, da der Anwendungsprozessor abgeschaltet werden kann, während nur die Cortex-M-Domäne für die Wake-Word-Erkennung eingeschaltet bleibt.

Darüber hinaus verfügt i.MX 8M Plus über erweiterte Multimedia- und Video-Verarbeitungsfähigkeiten. Er kann mehrere Video-Feeds mit dem H.265- oder H.264-HD-Video-Encoder und -Decoder für Cloud-Streaming oder lokale Speicherung komprimieren und bietet Anwendungsmöglichkeiten durch 3D/2D-Grafiken und Immersiv3D-Audio mit Dolby Atmos und DTS:X.

Industrielles IoT

Mit i.MX-Prozessor lassen sich aber auch die Produktivität und Automatisierung von Industrieanwendungen steigern. Das Bauteil ermöglicht Maschinen, die inspizieren, messen, Objekte präzise identifizieren und eine vorausschauende Wartung unterstützen, indem sie Anomalien im Maschinenbetrieb genau erkennen. Darüber hinaus können Mensch-Maschine-Schnittstellen in der Fabrik durch die Kombination einer präzisen Gesichtserkennung mit Sprach-, Befehls- oder sogar Gestenerkennung intuitiver und sicherer gestaltet werden.

Der Prozessor unterstützt Industry 4.0 IT/OT und integriert Gigabit Ethernet mit Time-Sensitive Networking (TSN), so dass er in Kombination mit der Arm Cortex M7 Echtzeitverarbeitung eine deterministische Datenübertragung und -verarbeitung über kabelgebundene Netzwerkverbindungen erlaubt. Um die hohen Qualitäts- und Zuverlässigkeitsstandards für industrielle Anwendungen zu erfüllen, verfügt i.MX 8M Plus über einen Error Correction Code (ECC) für interne Speicher und die DDR-Schnittstelle.

Die Prozessorfamilie soll für die hohen Temperatur- und Energieprofilanforderungen für den Einsatz in Industrie-Anwendungen von -40 bis 105 Grad Umgebungstemperatur sowie 100 Prozent Einschaltdauer) qualifiziert werden. Zudem plant NXP, die Prozessorfamilie auch mit der branchenweit höchsten Langlebigkeitsverpflichtung (15 Jahre) zu versehen.

Technische Spezifikationen im Überblick

• Rechenkerne: Vierkernprozessor ARM Cortex-A53 bis 2,0 GHz und Cortex-M7 bis 800 MHz

• Machine Learning: Neuralprozessor (NPU) bis zu 2,3 TOPS

• Audio- und Sprachverarbeitung: stromsparender Tensilica HiFi4 DSP mit 800 MHz

• Dual Image Signal Prozessoren (ISP): Auflösung bis zu 12MP, 2x MIPI-CSI-Kameraschnittstellen

• Video-Verarbeitung: 1080p Video-Encodierung/Decodierung einschließlich H.265 und H.264

• GPU: 3D/2D-Grafiken mit Unterstützung von OpenGL ES 3.1, Vulkan, Open CL 1.2 FP und OpenVG1.1

• Speicher-Unterstützung: Error Correction Code (ECC) auf internen Speichern und DDR-Bus, 32/16-Bit DDR3L, DDR4, LPDDR4 bis zu 4,0GT/s

• Mehrere Audio-Interfaces: TDM, DSD512, S/PDIF, PDM-Mikrofoneingang, eARC und ASRC

• Display: HDMI 2.0b Tx, MIPI DSI, LVDS (4/8-spurig) Tx

• Kabelanbindungen: 2x Gigabit Ethernet mit AVB, IEEE 1588, EEE und 1x mit TSN, 2x CAN-FD, 2x USB 3.0/2.0 OTG mit PHY Typ C und PCIe Gen3

• Power-Management des NXP-Systems PMIC (PCA9450C), optimiert für den Anwendungsprozessor i.MX 8M Plus

(ID:46326494)