Parallelverarbeitung damals und heute Was ist Amdahls Gesetz?

Anbieter zum Thema

PresseBox - unn | UNITED NEWS NETWORK GmbH

DataCore Software GmbH

Fujitsu Technology Solutions GmbH

Seit Gene Amdahl vor fast einem halben Jahrhundert über die Grenzen der Prozessor-Parallelisierung nachdachte und das nach ihm benannte 'Gesetz' formulierte, hat sich viel getan. Welche Rolle spielen Amdahls Überlegungen heute?

In einem Vortrag auf der „AFIPS Spring Joint Computer Conference“ präsentierte vor fast 50 Jahren der damalige IBM-Computerarchitekt Gene Amdahl, der später auch selbst in die Produktion von Großrechnern einsteigen sollte, Überlegungen zur Parallelverarbeitung und zu ihren Grenzen, oder besser: bis zu welchem Punkt Parallelverarbeitung computertechnisch einen Mehrwert bietet.

Die mathematische Ungleichung als zentraler Teil seiner Überlegungen ging als „Amdahls Gesetz“ (Amdahl´s Law) in die Informatik-Geschichte ein:

Dabei ist T(n) die Laufzeit (in Sekunden) des Algorithmus bei Verwendung von n Prozessoren ist, S der serielle Anteil des Algorithmus und P der parallele Anteil.

Umgangssprachlich lässt sich das so ausdrücken: Wird ein bestimmter Algorithmus statt auf einem Prozessor auf n Prozessoren verarbeitet, dann ist die Ausführungszeit gleich beziehungsweise (in aller Regel) größer als die Ausführungszeit seines seriellen Teils auf einem Prozessor plus die Ausführungszeit seines parallelen Teils auf einem Prozessor geteilt durch n.

Wenn man in die obige Ungleichung Werte für n einsetzt, erkennt man, dass je höher der Wert für n wird, desto mehr die Ungleichung zur Gleichung wird, sprich der zweite rechte Term konvergiert gegen Null. Umgangssprachlich ausgedrückt: Die Ausführungszeit des Algorithmus wird praktisch nur durch den seriellen Term bestimmt.

'Amdahls Gesetz' informiert insofern über zwei Größen:

• Wie viel Beschleunigung können wir im besten Fall durch Parallelverarbeitung erwarten und

• wann sollten wir aufhören, das Problem mit Hardware zu lösen, weil der Ertrag abnimmt.

Amdahls Gesetz macht bestimmte Annahmen

Es ist unschwer zu erkennen, dass die obige Ungleichung auf mehreren Annahmen beruht. Die offensichtlichste Annahme ist die, dass ein Algorithmus nicht vollständig parallelisiert werden kann. S kann also per se nicht Null sein.

Möglicherweise müssen Daten und/oder Code in einen Speicher kopiert werden, damit die verschiedenen Prozessoren darauf zugreifen können; oder es müssen die Daten aufgeteilt werden und die Teile dann über das Netzwerk transportiert werden; oder es müssen die Ergebnisse der parallel arbeitenden Prozessoren gesammelt und weiterverarbeitet werden.

Natürlich gibt es auch Problemstellungen, die vollständig parallelisiert werden können, aber das sind nicht so viele. Jedenfalls sah Amdahl damals nicht so viele „angenehm parallele“ Aufgaben, doch davon weiter unten.

Eine weitere (versteckte) Annahme bei Amdahl besteht darin, dass er von einer größenmäßig festumrissenen Problemstellung ausgeht, dass Amdahl in seine Überlegungen nicht miteinbezieht, dass womöglich erst durch vergrößerte Problemumfänge die Parallelverarbeitung ihre Vorteile ausspielen kann.

Weiterentwicklungen im Einzelprozessorbereich

Es ist sicher wohlfeil, die Gedanken von Amdahl im Lichte heutiger Entwicklungen klein zu reden. Das ist aber weder Technologie-historisch gerecht noch sinnvoll. Schließlich ist eine Schlussfolgerung aus Amdahls Gesetz auch heute noch gültig.

Diese lautet: Es lohnt sich auf jeden Fall, an schnelleren und leistungsfähigeren Einzelprozessoren zu forschen. Und dies geschieht ja auch kontinuierlich seit Jahrzehnten.

So geht es bei allen wichtigen Halbleiterherstellern auf dem Globus schon seit Jahren in die dritte Dimension. Beispiele dafür sind die Transistoren nach dem so genannten Gate-All-Around-(GAA)-Konzept. Bei Samsung laufen die GAA-Transistoren unter der Bezeichnung „MBCFET“ (Multi Bridge Channel FET) und bei Intel unter „Nanoribbon Gate-All-Around Transistors“ oder neuerdings unter „RibbonFET“.

Bei diesen Feldeffekttransistoren sind die Gates auf allen vier Seiten um ultradünne Kanäle gewickelt. Die verbesserte Gate-Steuerung des Kanals überwindet die physikalischen Skalierungs- und Leistungsbeschränkungen der bisherigen FinFETs und ermöglicht eine weitere Skalierung der Versorgungsspannung.

Wo Amdahls Gesetz nicht mehr „greift“

Mit diesen und ähnlichen Entwicklungen wird eine weitere Annahme von Amdahl außer Kraft gesetzt, nämlich die, dass die zur Parallelisierung verwendeten Prozessoren homogen sind. Das Gesetz kann nämlich schlicht nicht die Leistungseffekte erfassen, wenn Prozessoren von dieser Homogenitätsannahme abweichen.

Die Homogenitätsannahme konterkarieren mittlerweile nicht nur GAA-Transistoren, sondern alle Chipdesigns, die feingranularer sind als Entwicklungen, die lediglich auf der Prozessor- oder auch Prozessorkern-Ebene aufsetzen. Sobald ein Chipentwickler bei Systementwicklungen die Optimierung auf die Gate-Ebene oder ganz allgemein auf den verfügbaren Platz auf dem Prozessorchip „herunterbricht“ oder wenn er oder sie Cache-Speicher gegen Kerne tuschen oder „fette“ Kerne gegen „dünne“ Kerne, dann bewegen sie sich auf Ebenen, auf denen Amdahls damalige Überlegungen heute einfach zu grobgranular ist und letztlich nicht mehr „greifen“.

Gestapelte Prozessorsysteme

Die seinerzeitigen Annahmen von Gene Amdahl in puncto Parallelverarbeitung werden nicht nur durch die oben skizzierten 3-D-Transistoren in Frage gestellt (und damit auch seine Schlussfolgerungen), sondern auch durch die Systementwicklung. Mittlerweile stapelt die Mikroelektronik-Industrie nicht nur Transistoren, sondern auch ganze Wafer und nackte integrierte Schaltkreise („Dies“).

Mit der vertikalen Anordnung von Systemkomponenten wie Logik- oder Speicherchips, aber auch Prozessoren und Sensoren, lassen sich Systeme „schrumpfen“ und gleichzeitig lässt sich mehr Leistung aus ihnen herausholen. Der britische KI-Hardware und -Software-Spezialist Graphcore meldete im vergangenen Jahr, dass man ganze Prozessoreinheiten stapeln könne.

Die firmeneigene „Bow IPU“ als erster 3D-Wafer-on-Wafer-Prozessor sei das Herzstück einer Generation von „Bow Pod“-KI-Computersystemen und erbringe bis zu 40 Prozent mehr Leistung und eine 16prozentig höhere Energie-Effizienz für KI-Anwendungen als sein Vorgänger, und das zum gleichen Preis und ohne Änderungen an der bestehenden Software.

Parallelisierung und Quantencomputer

Man darf davon ausgehen, dass sich seit der Zeit, in der Gene Amdahl sein Gesetz formulierte, auch die Software-Entwicklung weiterentwickelt hat, auch was die Möglichkeiten der Parallelisierung betrifft. Der serielle Anteil dürfte mittlerweile deutlich reduziert worden sein. Ganz zu schweigen von den Quantencomputern, die das Thema Parallelisierung noch einmal auf eine ganz neue Ebene heben.

(ID:49667805)