Goldrausch um KI-Chips GPU-Wahnsinn… und (A)KI-Tollheiten

Anbieter zum Thema

AMD International Sales & Service Ltd. Advanced Micro Devices

Taiwan Semiconductor Co. Ltd

Arm Ltd.

Taiwan Semiconductor Europe GmbH

NVIDIA GmbH

mehr weniger

AMD Saxony GmbH

Intel Deutschland GmbH

ARM Germany GmbH

weniger

Der Markt für KI-Chips boomt (für die einen) und stottert (für die anderen). Im Wettlauf zum nächsten KI-Meilenstein macht sich auch schon mal die Verzweiflung breit. Einige KI-Nutzer wollen ihr 'Silizium' selbst fertigen, andere werfen einfach weiter mit Geld um sich, eine Mega-Bestellung nach der anderen. Wahnsinn!

Während die Nachfrage nach KI-Chips ganz „planmäßig“ außer Rand und Band wächst, kommen die Anbieter mit den Lieferungen nicht nach. Die Kapazitäten skalieren nicht schnell genug. Jedenfalls nicht so schnell wie die Nachfrage.

Nvidia hat schon angekündigt, dass die nächste Generation ihrer „B100“ AI GPU aufgrund der „enormen Nachfrage“ und Produktionsbeschränkungen „versorgungsbeschränkt“ sein werde – was auch immer das bedeuten mag. Künftige Lieferprobleme seien auf die fortschrittlichen Fähigkeiten der B100 zurückzuführen, die auf der brandneuen „Blackwell“-Architektur (dem Nachfolger von „Hopper“) aufsetzt.

Nvidia lässt seine gesamte Flotte von KI-GPUs nach wie vor ausschließlich bei TSMC (Taiwan Semiconductor Manufacturing Company) fertigen. Die offizielle Vorstellung der Blackwell GPU-Architektur soll auf der bevorstehenden „GPU Technology Conference“ (GTC) von Nvidia, vom 17. bis zum 21. März in San José, stattfinden.

Von den Lieferengpässen könnten aber auch schon die Käufer der aktuellen Nvidia-GPUs „A100“ und „H100“ ein Lied singen. (Siehe hierzu auch den Beitrag: „Bieten Open-Source-Chips eine Alternative zu Lieferengpässen, Marktübermacht und Abhängigkeit?“). Schuld daran seien laut der TSMC technische Probleme mit der Skalierung der Packaging-Technologie CoWoS (Chip on Wafer on Substrate), die in einigen der fortschrittlichsten Chips zum Einsatz kommt. Betroffen sind hauptsächlich Designs, welche auf HBM-Speicher (High-Bandwidth Memory) angewiesen sind, also potenziell auch die Instinct „MI300“-Reihe von AMD.

TSMC kann offenbar nur rund 80 Prozent aller Bestellungen erfüllen (die Lage hat sich also schon etwas entspannt). Die Käufer sitzen wie auf heißen Kohlen, denn ohne die KI-Chips ist mit ihren Systemen nicht viel zu wollen.

Ungeachtet der Lieferprobleme hören die Anbieter von KI-Chips nicht auf, ihre Erzeugnisse in höchsten Tönen anzupreisen und den Käufern hoffnungsvolle Visionen vor die Augen zu malen. „Der normative Anwendungsfall der Zukunft [für KI-Computing] ist ein LLM als die Frontend für nahezu alles andere“, schwärmte Nvidia-CEO Jensen Huang in seiner Keynote auf der vergangenen Messe „Siggraph“ in Los Angeles. „In jeder einzelnen Anwendung, jeder einzelnen Datenbank, wann immer Sie mit einem Computer interagieren, werden Sie wahrscheinlich zuerst ein großes Sprachmodell aufrufen,“ erklärte er weiter (Siehe hierzu auch den Beitrag: „Verteilte ist doppelte Freude mit dem Nvidia-Superchip Grace Hopper & Co“). Kurz danach legte der Aktienkurs in nur einem Tag um 277 Milliarden zu, nachdem Nvidia – ungeachtet der Lieferengpässe – mit spektakulären Geschäftsergebnissen trumpfen konnte.

Fertigungsprobleme betreffen nicht nur Nvidia und treten auch nicht nur bei der TSMC auf. Die gesamte globale Halbleiterlieferkette steht unter Druck. So sah sich beispielsweise Huawei gezwungen, die Produktion seiner Flaggschiff-Smartphones „Mate 60“ zurückzuschrauben, um seine KI-Chips zu priorisieren. Laut der TSMC dürfen sich die Probleme noch mindestens bis Jahresende hinziehen. Dennoch: Das ganze Gedränge um KI-Beschleuniger hält technologiestarke KI-Vorreiter keinesfalls davon ab, große Pläne zu schmieden.

Leergefegt

Meta tüftelt tapfer an einem riesigen System für allgemeine künstliche Intelligenz. Das Unternehmen baut dafür „eine absolut massive Menge an Infrastruktur“, so Mark Zuckerberg zum Anlass der Ankündigung des LLMs „Llama3“ und dem aktualisierten Fahrplan für KI. Mit knapp zwei Millionen kombinierter Downloads auf Huggingface und Tausenden von Forks war Metas KI-Modell für überwachtes Lernen ein großer Knaller. Die neue Generation, „Llama3“, umgerüstet mit neuen Gewichten und Tokenizern, soll ihren Vorgänger in Kürze vollständig ablösen.

Hoffnungsschimmer: quelloffenes Chip-Design

Bieten Open-Source-Chips eine Alternative zu Liefer­engpässen, Marktübermacht und Abhängigkeit?

Metas KI tritt gegen „Google Gemini“ und den bevorstehenden „GPT-5“ von OpenAI an. Die hierfür benötigten Chips hat Meta offenbar schon in trockenen Tüchern, denn Llama3 trainiert bereits vor sich hin. Doch das ist nicht der Fokus von Zuckerberg und seinem Team. Meta kauft GPUs ein, als ob die Welt gleich endet. Bis Jahresende will das Unternehmen „über etwa 350.000 Nvidia H100 oder etwa 600.000 H100-Äquivalente an Rechenleistung verfügen, wenn man andere GPUs mit dazu rechnet", sagt 'Zuck'.

Meta hat den Markt fast schon leergefegt und kann immer noch nicht genug von den Chips bekommen. Man war sich auch nicht zu schade, AMDs MI300X-GPUs mit in die Pflicht zu nehmen. Die ersten Server mit diesen KI-Beschleunigern habe man in den Rechenzentren von Meta in Rekordzeit in Betrieb nehmen können.

Meta will sich offenbar für allgemeine KI stark machen. Mit starken Chips versteht sich.

Allgemein nicht verfügbar

Die Knappheit von High-End-GPUs macht auch OpenAI zu schaffen. Laut der Gerüchteküche sucht das Unternehmen eine massive Investition in eigene Produktionskapazitäten für KI-Chips, möglicherweise zwischen 5 Billionen und 7 Billionen Dollar. Das Projekt würde die Produktionskapazität der globalen Halbleiterindustrie in einem Umfang erweitern, der die Lieferengpässe erheblich mindern dürfte.

Gerüchte um ein KI-Prozessoren-Entwicklungsprojekt

100 Milliarden zur Finanzierung neuer Chips gesucht

Es würde die Versorgung resilienter gestalten. Die avisierte Summe stellt die Marktkapitalisierung der weltweit größten Technologie-Unternehmen in den Schatten.

Sam Altman, der CEO bei OpenAI, soll bereits mit der Regierung der Vereinigten Arabischen Emirate und mit Kapitalgebern in Fernost beraten haben – derart weitreichend sind die Ambitionen. OpenAI dürfte aber auch durchaus bereit sein, sich mit einer wesentlich geringeren Investition zu begnügen. Altman selbst hat angedeutet, das Projekt hinke am grünen Licht seitens der U.S.-Regierung und man sollte den Bemühungen (wohlgemerkt im Wahljahr 2024) nicht zu viel Aufmerksamkeit schenken.

Derzeit muss sich OpenAI mit einem riesigen Supercomputer von Microsoft, einem seiner prominentesten Unterstützer, zufriedengeben. Laut einem Bericht der Presseagentur Reuters verfügt das Technikwunder um gerade einmal 10.000 Nvidia-Grafikprozessoreinheiten (GPUs). Das ist ein Tropfen auf den heißen Stein - in dem Fall: Silizium.

Und die Kosten?

Der Betrieb von ChatGPT verursacht erhebliche Kosten. Laut Stacy Rasgon, Managing Director and Senior Analyst für U.S. Semiconductors and Semiconductor Capital Equipment bei Bernstein Research, dürfte jede Anfrage (einschließlich Halluzinationen der KI) im Durchschnitt etwa 4 Cent kosten.

Ist das viel oder wenig? Andere Analysten gingen von einer beinahe zehnfach höheren Zahl aus. Sollten aber die Anfragen auch nur ein Zehntel des Umfangs der Google-Suche erreichen, würde die anfängliche Investition in GPUs rund 48,1 Milliarden Dollar betragen, mit jährlichen Wartungskosten von etwa 16 Milliarden Dollar. Alles eine Frage der Perspektive.

Die Entwicklung eigener KI-Chips würde OpenAI in die Reihe anderer großer Technologie-Unternehmen wie Google und Amazon bringen, die sich ebenfalls am Design eigener Chips versucht haben. Die Herstellung eigener Chips wäre jedoch ein bedeutender strategischer Schritt für OpenAI und eine erhebliche finanzielle Investition. Eine Übernahme eines bestehenden Chip-Anbieters könnte den Prozess beschleunigen, so wie die Akquisition von Annapurna Labs durch Amazon (2015).

Zum Vergleich: HPE ging in Sachen GenAI lieber eine Kooperation mit Nvidia an als sich auf den Aufbau eigener Fertigungskapazitäten einzulassen. HPE integriert nach wie vor lieber KI-Chips anderer. Aus gutem Grund. Denn nach der Übernahme von Juniper Networks, sollte diese gelingen, wird man die „Beute“ erst noch verdauen müssen (siehe hierzu den Beitrag: „»Mist, AI!«: Was HPE jetzt mit Juniper Networks anfangen will“).

Selbermachen und zukaufen

Microsoft kann sich das aber offenbar leisten, beide Wege gleichzeitig zu beschreiten: eigene KI-Halbleiter herzustellen und KI-Erzeugnisse anderer zu erwerben.

Wird Microsoft zur Nvidia-Konkurrenz?

Microsoft macht eigene KI-Chips

Der Hauptunterstützer von OpenAI begann Anfang des Jahres 2024 die Massenlieferung von zwei eigenen KI-Chips, die gerade einmal auf der „Ignite“-Konferenz am 15. November 2023 das Licht der Welt erblickten: den „Microsoft Azure Maia 100“ AI Accelerator und die „Microsoft Azure Cobalt“ CPU. Der Maia 100 AI Accelerator ist für KI-Aufgaben wie GenAI optimiert; OpenAI konnte ihn auch schon bereits auf die Probefahrt nehmen.

Bei der Cobalt CPU von Microsoft handelt es sich um einen Prozessor für allgemeine Rechenaufgaben, der übrigens auf der ARM-Architektur aufsetzt. Beide Chips werden von TSMC auf dem neuesten Prozessknoten produziert. Microsoft liefert sie an sich selbst, zunächst, um Dienste wie Microsoft Copilot oder Azure OpenAI Service in eigenen Rechenzentren zu betreiben. Interessierte Käufer gucken vorerst in die Röhre.

Künstliche Intelligenz puscht die Hardware und Cloud-Angebote

Nvidia mit Microsoft und viel mehr Supercomputing

Gleichzeitig arbeitet Microsoft auch mit Nvidia zusammen. Gemeinsam tüfteln die Partner unter anderem an einem der leistungsfähigsten KI-Supercomputer der Welt. In dieser noch unbenannten Maschine kommen „Zehntausende“ von Nvidia A100 und H100 GPUs und das 400 Gb/s starke Infiniband-Netzwerk „Nvidia Quantum-2“ mit entsprechender KI-Software zum Tragen. Im Backend des Supercomputers sollen bei Bedarf Azure-Instanzen einspringen.

Nvidia hat gerade noch einen eigenen KI-Supercomputer namens „Helios“ mit vier DGX-Systemen mit je 256 Grace Hopper Superchips in Betrieb genommen (also insgesamt 1,024 Grace Hopper Superchips). Ein einzelnes System der „DGX“-Klasse liefert über 1 ExaFlops an FP8-Leistung für KI.

Für KI stark gemacht – oder für „starke“ KI gemacht?

Die Allgemeine Künstliche Intelligenz (kurz AKI oder AGI für Artificial General Intelligence), die sogenannte „starke“ KI, gilt seit jeher als der Heilige Gral der KI-Forschung. Sie soll jedes beliebige Problem mit der gleichen Kompetenz wie ein Mensch lösen können, ohne dafür erst noch speziell programmiert werden zu müssen.

Im Gegensatz zu schwacher KI, die für spezialisierte Aufgaben wie die Sprach- und Bilderkennung oder das Schachspielen konzipiert wurde, verfügt AGI im Prinzip über ein unbeschränktes Spektrum kognitiver Fähigkeiten und einen Bezug zur Realität.

Die kognitiven Fähigkeiten Allgemeiner KI umfasst ein echtes Verständnis menschlicher Sprachen (welches über die linguistische Akrobatik reiner LLVM-Modelle weit hinausgeht), logisches und kreatives Denken im beliebigen Kontext, das Schlussfolgern und die Fähigkeiten zur Lösung allgemeiner – also beliebiger – Probleme sowie soziale und emotionale Intelligenz. Letzteres beinhaltet das Verständnis menschlicher Emotionen, sozialer Signale und die Fähigkeit, mit Menschen nuanciert und angemessen zum Kontext zu interagieren.

In Siebenmeilenstiefeln zu AKI

Die Entwicklung von AKI bleibt zu diesem Zeitpunkt noch weitgehend ein theoretisches Konzept, welches sich allerdings in Siebenmeilenstiefeln der Machbarkeit nähert. Die leistungsstärksten GPUs der aktuellen Generation stellen einen Erfolg tatsächlich in Aussicht. Mit ihrer Verfügbarkeit steht und fällt für einzelne Marktakteure das ganze Vorhaben.

Während die potenziellen Vorteile von allgemeiner KI enorm erscheinen, gibt es auch bedeutende ethische und sicherheitstechnische Bedenken, darunter Fragen nach der Kontrolle solcher Systeme, der Auswirkung auf den Arbeitsmarkt und nach dem Schutz der Privatsphäre durch Systeme, die sich menschlicher Aufsicht möglicherweise entziehen werden.

Während die potenziellen Implikationen der Entwicklung maschineller Kognition mit äquivalentem (oder überlegenem) Vermögen zu menschlicher Intelligenz noch Gegenstand intensiver Debatten sind, schreitet die Forschung daran unaufhaltsam voran. (Wer das Rennen gewinnt, „gewinnt“ die Diskussion – und sei es mit seiner AKI.)

Egal was, Hauptsache GPUs

Ein elementarer Faktor für die Leistung und Genauigkeit eines (A)KI-Modells ist die Fähigkeit des Computersystems zur Durchführung komplexer Matrixmultiplikationen. Diese Art von Berechnungen läuft effizienter auf hochgradig parallelen Architekturen – wie eben GPUs – als auf anderen Chips.

Moderne GPU-Architekturen verzichten auf komplexere Funktionen wie die Branch Prediction (Verzweigungsprognose) zugunsten einer wesentlich höheren Anzahl an Multiplizierern im Vergleich zu einer CPU. (Eine Verzweigungsvorhersage empfiehlt sich eher für die sequenzielle Verarbeitung, bei der die nächste Anweisung vom Ergebnis der aktuellen abhängt.)

Diese Multiplizierer sind in einer GPU in Mustern angeordnet, zum Beispiel in einem „systolischen Array“, also einer Art paralleler Architektur für die Datenverarbeitung mit hohem Durchsatz, die sich eben bei der Matrixmultiplikation bewährt hat. Dadurch können nämlich Bits direkt von einer Multiplikation zur nächsten fließen und übergehen so die Umleitung durch programmierbare Register.

Wofür eigentlich GPUs?

Eine andere Methode verwendet extrem breite SIMD-Vektoren (Single Instruction, Multiple Data). Dadurch kann ein einzelner Befehl gleichzeitig mehrere Datenpunkte verarbeiten.

Zudem nutzen GPUs ein Programmiermodell, das nominell multithreaded ist. In Wirklichkeit laufen diese Threads jedoch synchron zueinander, ähnlich wie SIMD-Vektoren, was bedeutet, dass viele Operationen gleichzeitig ausgeführt werden können.

GPUs erreichen Parallelität nicht durch die Unabhängigkeit einzelner Threads, sondern durch die Synchronisierung der Ausführung mehrerer Threads auf eine Weise, die der Parallelität von SIMD ähnelt. Dieses Modell ist aus einer architektonischen Perspektive besonders effizient für Matrixmultiplikationen (bei denen es sich ja um parallele Berechnungen handelt), indem es die Stärken der SIMD-Verarbeitung aufgreift.

„Mit 100 Millionen Dollar könnten Sie etwa 8.800 der x86 CPUs kaufen“, rechnet Jansen Huang, Mitgründer, Präsident und CEO von Nvidia, vor. Ein Rechenzentrum bräuchte dann etwa 5 Megawatt, um auf diesen CPUs eine KI-Beispielarbeitslast auszuführen (ein Seitenhieb gegen Intels neueste „Xeon“ CPUs der 5. Generation). Würde man stattdessen mit dem exakt gleichen Budget „Nvidia Grace Hopper“ kaufen, würde der Stromverbrauch gerade einmal drei Megawatt erreichen, so Huang, also ein Zwanzigstel. Gleichzeitig würde der Durchsatz um eine Größenordnung steigen, verspricht er.

Dieselbe KI-Arbeitslast, die im Huangs Beispiel 100 Millionen Dollar an Anschaffungskosten bei einer Investition in Chips für allgemeines Computing (sprich: CPUs von Intel, AMD &Co.) verschlingen würde, ließe sich beim Kauf von KI-Beschleunigern mit dem Superchip Grace Hopper mit 8 Millionen Dollar an Investitionen in Betrieb nehmen. „8 Millionen Dollar und nur (…) 260 Kilowatt an Strom“, freut sich Huang „also 20 Mal weniger Strom und 12 Mal weniger Kosten“. Dies sei in seinen Augen „der Grund, warum KI-Beschleuniger der Weg nach vorne sein werden“ und „der Grund, warum die Rechenzentren der Welt sehr schnell auf beschleunigtes Rechnen umstellen“.

Doch nicht zu früh freuen: GPUs von AMD wie die Instinct MI300X können es in Sachen Performance mit NVIDIAs KI-Beschleunigern problemlos aufnehmen und sind nicht zuletzt noch billiger in der Anschaffung. NVIDIA lässt sich nämlich sein üppiges Ökosystem an Tools, Kits und sonstiger Software vergolden. Davon ist AMD bisher noch weit entfernt.

Laut dem Forschungsinstitut Gartner reiten die KI-Pioniere auf einer Hypewelle. Generative AI habe den Analysten zufolge gerade erst den „Höhepunkt der inflationierten Erwartungen“ erreicht. Der Weg in die Zukunft führe erst noch durch „das Tal der Enttäuschungen“, das man überwinden müsste, um auf dem „Pfad der Erleuchtung“ zum „Plateau der Produktivität“ zu finden. Bis zu diesem Ziel seien noch zwei bis fünf Jahre hin.

(ID:49930407)