Gehirnakrobatik auf dem Chip Was ist Neural Processing Unit – NPU?

Anbieter zum Thema

Schneider Electric GmbH

DAXTEN GmbH

EPS Rechenzentrum Infrastruktur GmbH

Neural Processing Units (NPUs) sind Prozessoren, die große Datenmengen parallel verarbeiten können und sich damit ideal zur Beschleunigung von KI- und Machine-Learning-Anwendungen eignen.

Das Referenzdesign für heutige Computer basiert auf der von-Neumann-Architektur, bei der Instruktionen und Daten über zentrales Bus-System ausgetauscht werden. Sind Prozessor und Speicher schneller als die vom Bus-System erlaubte maximale Übertragungsrate, kommt es jedoch zu Engpässen und damit zu unnötigen Wartezeiten. Vermeiden lässt sich dieser so genannte von-Neumann-Flaschenhals durch den Einsatz von spezialisierten Prozessoren wie etwa GPUs, Tensor Processing Units (TPUs) oder Neural Processing Units (NPUs).

Bei einer Neural Processing Unit (NPU) handelt es sich um einen Prozessor, der speziell zur Beschleunigung von KI- und Machine-Learning-Anwendungen eingesetzt wird. Anders als CPUs sind NPUs keine Universalwerkzeuge, sondern für die Parallelisierung optimiert.

Dazu orientieren sie sich an biologischen Vorbildern wie dem menschlichen Gehirn und Nervensystem. NPUs können große Datenmengen in sehr kurzer Zeit verarbeiten. Das macht sie äußerst effizient bei KI-Anwendungen wie der Gesichts- und Spracherkennung, der Objekterkennung in Bildern oder wenn es darum geht, bei Video-Anrufen den Hintergrund unscharf zu stellen.

Ähnliche Spezialisierung bei GPUs und TPUs

Die Spezialisierung der NPUs geht nicht so weit wie bei den ASICs (Application-Specific Integrated Circuits). ASIC-Bausteine sind für ganz bestimmte Workloads ausgelegt und werden in Rechenzentren zum Beispiel für kryptografische Aufgaben wie das Bitcoin-Mining herangezogen. Dagegen zeichnen sich NPUs durch eine höhere Komplexität und ein wesentlich breiteres Anwendungsgebiet aus. Eine Neural Processing Unit lässt sich flexibel an unterschiedliche KI-Tasks anpassen und kann durch Umprogrammieren jederzeit neue Workloads im neuronalen Netz bewältigen.

eBook: Future-IT

Herkömmliche IT-Systeme haben ausgedient. Sie werden den Anforderungen der KI-getriebenen Wirtschaft nicht mehr gerecht. Die IT-Industrie muss ihren Horizont erweitern und Platz für neue, bahnbrechende Technologien schaffen.
NPUs, Quantencomputing-Chips und DNA-Speicher gelten fast schon als gesetzt. So ist DNA ist seit einiger Zeit als vielversprechendes alternatives Speichermedium im Gespräch. Ein Gramm DNA könnte theoretisch bis zu 215 Millionen Gigabyte an Informationen erfassen.
So lauten die Kapitel des eBooks:

IT-Zukunft – Götterdämmerung der klassischen IT

Mit Köpfchen bei der Sache: In-Chip-Gehirnakrobatik

Licht im Tunnel: Rechnen mit Quanten

NAM und DNA: Rechnen und Archivieren mit Gentechnik

>>> eBook „Future-IT“ zum Download

CPU, GPU, NPU, ASIC oder TPU? Welcher Prozessor beziehungsweise welche Steuereinheit zum Einsatz kommen soll, hängt immer vom jeweiligen Anwendungsfall ab. Wie die „Tensor-Core“-GPUs von Nvidia zeigen, können die Prozessor-Typen auch ohne weiteres in einer für Rechenzentren maßgeschneiderten Computing-Lösung miteinander kombiniert werden.

Geht es um KI-Berechnungen, bieten sich statt NPUs durchaus auch GPUs an. Sie sind primär für Grafikberechnungen konzipiert, können durch ihre zahlreichen arithmetisch-logischen Einheiten (ALUs) aber auch eine große Menge an Berechnungen parallel verarbeiten, was sie je nach erforderlichem Rechenaufwand und Budget zur wirtschaftlich sinnvolleren Wahl für KI- und Machine-Learning-Anwendungen machen kann.

Der reine Tempovorteil bei den dafür erforderlichen mathematischen Berechnungen liegt indes auf Seiten der NPUs. TPUs lassen sich als Spezialfall einer NPU einordnen, da sie vorrangig für Deep-Learning-Aufgaben eingesetzt werden.

Gaudi im Rechenzentrum

Für Betreiber von Rechenzentren ist bislang vor allem Nvidia mit seinen Tensor-Core-GPUs „H100“ und „H200“ erste Anlaufstelle, wenn es um leistungsfähige KI-Beschleuniger geht. Dauerrivale Intel will hier verlorenen Boden wettmachen und hat dazu auf seinem Event „AI Everywhere“ unlängst die „Intel-Xeon“-Prozessoren der 5. Generation vorgestellt.

Spannend ist dabei vor allem ihr für KI-Trainings und Inferencing bestimmter Beschleuniger „Gaudi 3“. Der in 3-Nanometer-Technik gefertigte Chip soll eine durchschnittlich 1,5-fach höhere KI-Trainingsleistung erzielen als sein Nvidia-Gegenstück H100.

Bei den meisten Endanwender-Produkten sind NPUs direkt in die CPU integriert, so etwa bei den „Ryzen-8040“-Prozessoren von AMD oder dem „Intel Core Ultra“, der laut Hersteller mehr als 300 KI-beschleunigte Funktionen mitbringt. Auch im Smartphone-Bereich übernehmen NPUs im Hintergrund immer mehr die Regie und lassen beispielsweise in der „Google Pixel-8“-Serie ihre Künstliche Intelligenz walten, um Störgeräusche aus Videos zu entfernen, Personen in Gruppenfotos zum lächeln zu bringen oder um fehlende Bildelemente neu zu generieren. Verantwortlich dafür zeichnet sich der „Google Tensor G3“-SoC.

(ID:50063412)