GPU Technology Conference (GTC) 2023 von Nvidia Nvidia-Chef Huang : „Beschleunigung ist der beste Weg zu „Net Zero“

Anbieter zum Thema

NVIDIA GmbH

Vertiv GmbH

Schneider Electric GmbH

Fsas Technologies GmbH

Auf der diesjährigen Konferenz „GTC“ trumpfte Nvidia-Gründer und CEO Jensen Huang einmal mehr mit unzähligen Innovationen auf. Und mittlerweile gibt man auch den Herstellern von Design- und Lithografie-Systemen sowie den Chip-Schmieden neue technologische Impulse.

„Der Warp-Antrieb ist beschleunigtes Computing und die Energiequelle ist KI", formulierte Nvidia-Chef Jensen Huang in seiner Keynote auf der diesjährigen GPU Technology Conference und machte mit seinen Ankündigungen, die diesem Statement folgten, auch gleich klar, wer im Zentrum dieser Energiequelle steht: eben Nvidia mit seinen vielfältigen technologischen Innovationen.

Und da das generative Sprachmodell des Bot-Systems „ChatGPT“ gerade auch jenseits der Fachöffentlichkeit Furore macht, erzählt Huang, wie er 2016 dem ChatGPT-Entwicklerunternehmen OpenAI den ersten „DGX“ KI-Supercomputer von Nvidia übergeben hat. Diese Maschine habe nicht wenig dazu beigetragen, dass ChatGPT so schnell den heutigen Reifegrad erreicht habe, den „iPhone-Moment der KI“.

Die Hardware-Komponenten hinter der OpenAI-Intelligenz

Die Microsoft-Azure-Infrastruktur für ChatGPT

DGX H100 als Referenz für KI-Infrastruktur

„Die DGX-KI-Komplettsysteme, die ursprünglich als KI-Forschungsinstrument eingesetzt wurden, laufen mittlerweile rund um die Uhr in Unternehmen auf der ganzen Welt, um Daten zu verfeinern und KI zu verarbeiten“, schwärmte Huang. So habe die Hälfte aller Fortune-100-Unternehmen solche Systeme installiert.

Die neueste Version von DGX verfügt über acht „H100“-Grafikprozessoren, die miteinander verbunden sind und als eine riesige GPU fungieren. „Das System DGX H100 ist eine Art Blaupause für alle Organisationen, die eine KI-Infrastruktur aufbauen wollen“, erläutert Huang und teilte mit, dass die neueste Version mittlerweile im regulären Produktionsbetrieb sei.

Die DGX-H100 nutzt die neuen „Hopper“ 100-Grafikbeschleuniger, die bis zu 4 TeraOps (INT8) respektive 4 TeraFlops (FP8) erreichen. Schon vor einiger Zeit wurde bekannt, dass als CPU nicht wie in der Vorgängerversion AMD-Chips zum Zuge kommen (gedacht war an „Epyc 7004“ alias „Genoa“), sondern „Xeon SP v4“ alias „Sapphire Rapids“ von Intel.

HGX H100: Serverplattform für KI und HPC

Noch einmal um eine oder zwei Größenordnungen mehr Leistung liefert die KI/HPC-Serverplattform „HGX H100“. Für HGX H100 verwendet man wie bei allen anderen Nvidia-Systemen die neue auf ARM-Technik aufbauende „Grace“-CPU von Nvidia (DGX mit seiner Intel-CPU ist also die große Ausnahme). Grace ist noch nicht in der Produktionslinie, wird aber gerade bemustert, erklärte der Nvidia-Chef.

Die Server-Plattform HGX H100 ist für Exascale-Hochleistungsrechnen und KI mit Billionen von Parametern ausgelegt, wie sie beispielsweise humanoide Konversationssysteme benötigen. Für solche und ähnliche Systeme verbinde der neue Superchip „Grace Hopper“ die Grace-CPU und die Hopper-GPU über eine genau abgestimmte Chip-to-Chip-Schnittstelle mit einer Geschwindigkeit von 900 GB/s. Das sei mehr als das 14-fache der Bandbreite des aktuellen PCIe Gen4 x16-Busses.

Grace Hopper sei ideal für die Verarbeitung riesiger Datenmengen wie KI-Datenbanken für Empfehlungssysteme und große Sprachmodelle ausgelegt, erläuterte Huang. Solche Systeme benötigten auf herkömmlichen Supercomputern mehrere Monate für die Trainingsphase, sagte er.

Wenn man den Trainingsvorgang an die Notwendigkeiten des Geschäftsbetriebs anpassen und auf „allenfalls mehrere Stunden drücken wolle“, sei nicht nur die Rechenleistung von HGX H100 notwendig, sondern zusätzlich eine blockierungsfreie Hochgeschwindigkeitskommunikation zwischen allen GPUs in einem Server-Cluster.

Genau für solche Fälle seien der neue „NVLink“ und der „NVSwitch“ konzipiert, so dass die HGX H100 8-GPU mit dem neuen NVLink-Network eine viel größere NVLink-Domäne unterstützen könne. Mit diesem Switch-System könnten bis zu 256 H100 verbunden werden, um Exascale-Workloads zu beschleunigen, während ein dedizierter Algorithmus, der natürliche Sprache in mathematische Bedeutungssequenzen umwandelt („Transformer Engine“) Sprachmodelle mit Billionen von Parametern unterstütze, sagte der Nvidia-CEO. Im Vergleich zur Vorgeneration würden mit dieser Konfiguration „Konversations-KI“ und große Sprachmodelle bis zum 30-fachen beschleunigt.

Entwicklungssprünge in Chipdesign-Methodik und Lithografie-Prozessen

Für Jensen Huang ist H100 „der weltweit fortschrittlichste Chip, der jemals gebaut wurde“. Er werde auf dem maßgeschneiderten 4N-Prozess von TSMC mit 80 Milliarden Transistoren und zahlreichen architektonischen Verbesserungen hergestellt. Zweifellos ist der Chip auch für neutrale Beobachter ein in jeder Hinsicht „großes Ding“, das in seinen lithografischen Strukturen dementsprechend winzig klein daherkommt.

Diese extrem miniaturisierten Strukturen stellen nicht nur extreme Anforderungen an die Chip-Entwickler selbst, sondern auch an die dafür genutzten elektronischen Entwurfssysteme und an die Herstellungsprozesse. Im Zuge der Entwicklung eines solchen Chips ergibt sich ganz von selbst eine sehr enge Beziehung, fast schon Symbiose, zwischen den einzelnen „Gewerken“. Den Chip entwickeln und dann an die Chip-Schmiede schicken und fertig ist das Produkt: ein derartiger Ablauf geht in einem solchen Fall nicht.

Langer Rede kurzer Sinn: Nividia hat spätestens durch die Entwicklung des H100 auch sehr viel Fachwissen in der Design-Automation und in den Lithografie-Prozessen gesammelt, das man mit den Partnern in diesen Bereichen teilen will und letztlich auch teilen muss, wenn man den eigenen Chip-technischen Vorsprung behalten will.

Die Softwarebeschleunigung für die Chip-Produktion

Als wichtigstes Beispiel für dieses Fachwissen nannte Jensen Huang in seiner GTC-Keynote die Software-Bibliothek „cuLito. Dadurch sei sowohl im Design-Prozess als auch in den vielen Lithografie-Prozess-Elementen nicht nur eine gewaltige Durchsatzsteigerung möglich, sondern gleichzeitig auch ein deutlich geringerer Energieverbrauch und damit reduzierte CO₂-Emissionen. Nicht zuletzt sei cuLitho, so Huang weiter, auch die Grundlage für weitere technologische Fortschritte in Richtung „jenseits der 2-Nanometer-Strukturen“.

Die Software-Bibliothek cuLitho soll in Zukunft sehr eng in die Systemlandschaft von Designpartnern wie Synopsys und Herstellungspartnern wie die taiwanische Chipschmiede TSMC, aber auch in die Maschinen des weltweiten Lithografie-Maschinen-Vorreiters ASML integriert werden. Mit cuLitho erbringen laut Jensen Huang 500 DGX H100 Systeme bei der Abarbeitung aller Schritte im Lithografie-Prozess dieselbe Leistung wie 40.000 traditionelle CPU-Systeme.

Durch diesen Leistungssprung um das 40-fache ließen sich jeden Tag 3 bis 5-mal so viele Fotomasken herstellen wie mit bisher benutzter Hardware und Software, und das mit neunmal weniger Energie. Fotomasken, deren Produktion bisher zwei Wochen benötigt hätten, würden mit DGX H100 und cuLitho jetzt über Nacht fertig: mit diesem Beispiel versuchte Huang den Fortschritt in plastischer Weise greifbar zu machen.

Letztlich war „Beschleunigung“ das alles übergreifende Schlagwort in Huangs Vortrag. „Beschleunigung ist der beste Weg, um Energiebedarfe zu reduzieren und somit Nachhaltigkeit und „Net Zero“ zu erreichen", resümierte der Nvidia-Chef.

(ID:49268479)