Die maximal mögliche Leistung eines KI-Systems Was sind Trillion Operations Per Second – TOPS?

Anbieter zum Thema

Schneider Electric GmbH

DAXTEN GmbH

Fsas Technologies GmbH

Wie leistungsfähig sind KI-Modelle? Gute Anhaltspunkte dafür liefert der TOPS-Kennwert (Trillion Operations Per Second bzw. Billionen Rechenoperationen pro Sekunde). Ins Verhältnis zur Wattzahl gesetzt, ist die Kennzahl ein Indikator für die Energie-Effizienz von KI-Engines.

Künstliche Intelligenz (KI) kommt immer stärker zum Einsatz, allerdings wächst ihr ökologischer Fußabdruck genauso stark mit. Beispielsweise musste laut einer Studie von vier US-Forschern die riesige Menge von 700.000 Litern Wasser für das Training des beliebten KI-Sprachmodells ChatGPT-3 aufgewendet werden.

Dieser Ressourcenaufwand war nötig, um die Rechenzentren zu kühlen, in denen das Training stattfand. Beim leistungsfähigeren GPT-4 soll der Verbrauch noch höher liegen.

Auch Microsoft kommt in seinem „Environmental Sustainability Report 2024“ zum Ergebnis, dass neue Technologien wie generative KI den gesamten Technologiesektor vor neue Herausforderungen stellen, was die Einhaltung der Nachhaltigkeitsverpflichtungen angeht. So stiegen die Emissionen des Konzerns gegenüber dem Basisjahr 2020 um knapp 29 Prozent. Oder anders gesagt: Konventionelle Chip-Architekturen und Nachhaltigkeitsziele bewegen sich auf einem Kollisionskurs zueinander.

Gefragt: Neue Architekturen

Um eine mögliche, vom KI-Boom ausgelöste Energiekrise abzuwenden, braucht es deshalb neue Ansätze bei NPU-Architekturen. Einer davon kommt zum Beispiel von Intel. Der Forschungscomputer „Hala Point“ ist das erste neuromorphe System der Welt, auf dem sich gängige KI-Modelle mit einem Bruchteil des Energiebedarfs konventioneller Architekturen ausführen lassen.

„Rack-less“ nachhaltig

Hala Point, die neuromorphe „Super-Kiste“ von Intel

Diese „KI-Nachhaltigkeit“ lässt sich auch in Zahlen ausdrücken. Um beim Intel-Beispiel zu bleiben: Mit 15 TOPS/W (Trillion bzw. Tera Operations Per Second per Watt, auf Deutsch: Billionen Rechenoperationen pro Sekunde pro Watt) stellt das nur etwa Backofen-große „Hala Point“-System, dessen maximale Leistungsaufnahme lediglich 2600 Watt beträgt, neue Rekorde bei der Leistungsfähigkeit und Energie-Effizienz auf.

TOPS: Leistung und Energie-Effizienz von KI-Engines

Die TOPS bilden eine Kennzahl für die maximal mögliche Leistung eines KI-Systems. Damit sind sie quasi das KI-Äquivalent zu FLOPS (Floating Point Operations Per Second beziehungsweise Gleitkommaoperationen pro Sekunde), einer Maßeinheit für die Leistungsfähigkeit von CPUs und GPUs. Setzt man die TOPS in Relation zur Wattzahl, gibt sie an, wie viele Rechenoperationen ein KI-System pro Sekunde schafft, wenn man ihr eine Leistung von 1 Watt bereitstellt, und erhält mit TOPS/W dann ein Maß für die Energie-Effizienz der jeweiligen KI-Systemarchitektur.

Obwohl es für die Parameter der TOPS-Formel keine standardisierte Konfiguration gibt, werden die TOPS dennoch häufig als Maßstab für den Vergleich der KI-Leistung verschiedender Prozessor- und Architektur-Typen herangezogen. Um das am besten für den jeweiligen Anwendungszweck geeignete KI-System auswählen, sollten andere Faktoren wie der Software-Stack, der Flächenbedarf sowie die Eignung für bestimmte neuronale Netzwerke aber nicht vernachlässigt werden.

Die TOPS-Formel lautet:

Multiply-Accumulate (MAC) oder Multiply-Add (MAD): Die Anzahl der MAC- oder MAD-Einheiten einer NPU. Sie bilden den mathematischen Kern von KI-Workloads und stehen für Rechenoperationen, bei denen zwei Faktoren miteinander multipliziert oder addiert werden. Die MAC-Einheiten einer NPU können mit unterschiedlich hoher Präzision arbeiten.

Präzision: Die Granularität der Berechnungen der MAC-/MAD-Einheiten beeinflusst die Modellgenauigkeit und den Rechenaufwand. Hochpräzise KI-Modelle verwenden 32-Bit- und 16-Bit-Gleitkommazahlen, während schnellere und stromsparende Modelle typischerweise 8-Bit- und 4-Bit-Ganzzahlgenauigkeit einsetzen.

Frequenz: Die Frequenz bestimmt die Taktrate, mit der eine NPU und ihre MAC-Einheiten arbeiten und beeinflusst direkt die Gesamtleistung. Eine höhere Frequenz resultiert in mehr Operationen pro Zeiteinheit, was zu einem höheren Verarbeitungstempo führt, allerdings auch einen höheren Stromverbrauch sowie eine höhere Wärmeentwicklung nach sich zieht.

(ID:50104514)