Pat Gelsinger im Unruhestand Ex-Chef von Intel investiert und kommentiert

Von Ulrike Ostler 5 min Lesedauer

Anbieter zum Thema

Derzeit lohnt es sich, Pat Gelsinger, „Elektrotechnikexperte mit mehr als vier Jahrzehnten Erfahrung und Führungsqualitäten im Technologiebereich“, wie er sich selbst auf der Social-Media-Plattform Linkedin beschreibt, eben auf dieser zu folgen.So ist zu erfahren, dass er in Chip-Fabrikation investiert und was er vom chnesichen Highflyer Deep Seek hält.

Der Ex-Chef von Intel Pat Gelsinger kommentiert das aktuelle Geschehen rund um KI mit Taten und Gelerntem. (Bild:  Dall-E / KI-generiert)
Der Ex-Chef von Intel Pat Gelsinger kommentiert das aktuelle Geschehen rund um KI mit Taten und Gelerntem.
(Bild: Dall-E / KI-generiert)

Er schreibt: „Vor 5 Jahren war die Welt der Datenverarbeitung noch langweilig. Man fügte ein paar Kerne hinzu, beschleunigte die IO, steigerte die Speicherleistung ... dann kam die KI/LLM-Explosion und die Welt ist heute alles andere als langweilig. Es ist eine aufregende Zeit, Technologe zu sein, die Welt liegt noch vor uns.“

Pat Gelsinger
Er sagt: Deepseek ist eine unglaubliche technische Errungenschaft, die zu einer stärkeren Verbreitung von KI führen wird.

Bildquelle: Pat Gelsinger

Mit diesen Worten beginnen seine Ausführungen zu seinem Chip-Invest. Die Inferenz von KI-Modellen werde durch die Hardware behindert, ist zu lesen. Schon vor der Skalierung von Testzeitrechnern seien Kosten und Latenzzeiten eine große Herausforderung für groß angelegte LLM-Einsätze gewesen. Mit dem Aufkommen von Reasoning-Modellen aber, die die speichergebundene Generierung von Tausenden von Output-Token erforderten, hätten sich die Einschränkungen der bestehenden Hardware-Roadmaps noch verstärkt.

„Um unsere Ziele für die KI zu erreichen, brauchen wir radikal schnellere und billigere Inferenzen mit wesentlich geringerem Stromverbrauch.“, schreibt er und schwärmt dann von Fractile. Dahinter verbirgt sich nicht etwa ein US-Unternehmen, sondern ein britisches. „Ich freue mich, Ihnen mitteilen zu können, dass ich kürzlich in Fractile investiert habe, ein in Großbritannien gegründetes KI-Hardware-Unternehmen, das einen Weg verfolgt, der radikal genug ist, um einen solchen Sprung zu ermöglichen.“

Der In-Memory-Compute-Ansatz zur Inferenzbeschleunigung gehe die beiden Engpässe bei der Skalierung von Inferenzen an. Er überwinde sowohl den Speicherengpass, der die heutigen GPUs bremst, als auch den Stromverbrauch, wohl „die größte physische Einschränkung, mit der wir im nächsten Jahrzehnt bei der Skalierung der Rechenzentrumskapazität konfrontiert werden“.

Im weltweiten Wettlauf um die Entwicklung führender KI-Modelle wird die Rolle der Inferenzleistung immer noch unterschätzt.

Die Möglichkeit, ein beliebiges Modell um Größenordnungen schneller auszuführen, zu einem Bruchteil der Kosten und - was vielleicht am wichtigsten sei - mit einem dramatisch niedrigeren Stromverbrauch, biete einen Leistungssprung, der einem jahrelangen Vorsprung bei der Modellentwicklung entspreche.

Über Fractile

„Wenn ein trainiertes Sprachmodell für einen Benutzer ausgeführt wird, entfallen über 99 Prozent der gesamten Rechenzeit nicht auf arithmetische Berechnungen, sondern auf die Übertragung der Modellgewichte vom Speicher zum Prozessor", so steht es auf der Fractile-Website unter Bezug auf Llama2 70B bei 8-Bit-Quantisierung auf 80GB „A100“-GPU von Nvidia.

Das wurde 2022 von Walter Goodwin gegründet, einem damaligen Doktoranden am Robotik-Institut der Universität Oxford. Es ist angetreten, dieses grundlegende Problem anzugehen. Fractile hat Chips entwickelt, die In-Memory-Computing verwenden, so dass sich Berechnungen direkt im Computerspeicher ausführen lassen.

Im Juli 2024 hat das Unternehmen eine Startfinanzierung von 15 Millionen Dollar erhalten hatte. Beteiligt waren Kindred Capital, Nato Innovation Fund, Oxford Science Enterprises und einer Reihe von Angel-Investoren. Der Unternehmer Stan Boland, ein ehemaliger Geschäftsführer von ARM und Acorn Computers, ist ebenfalls Investor und als Direktor im Companies House, einem Unternehmensregister der britischen Regierung, eingetragen.

Weisheit = Die Lektionen lernen, von denen ich dachte, dass ich sie schon kenne

Deepseek ist ein chinesisches Unternehmen, dass etwa einen Monat nach der Veröffentlichung des Large Language Model „R1“ für Nervosität bei den großen KI-Unternehmen aus Amerika sorgt; denn die Benchmarks scheinen erstaunlich. Man fragt sich, wie die Entwicklung, die auf „V3“ folgte, so schnell - in nur wenigen Monaten - und zudem mit besseren Ergebnissen als das „O1“-Modell von OpenAI passieren konnte.

Das Logo der chinesischen Algothmenjongleure.(Bild:  Deepseek)
Das Logo der chinesischen Algothmenjongleure.
(Bild: Deepseek)

Gelsinger kommentiert: „Die Reaktion auf Deepseek war faszinierend zu beobachten, und ich würde behaupten, dass die Reaktion drei wichtige Lektionen verpasst, die wir in den letzten fünf Jahrzehnten der Computertechnik gelernt haben.“

Erstens: Die Datenverarbeitung gehorcht dem Gasgesetz. Das bedeute, dass sie den verfügbaren Raum, der durch die Ressourcen, etwa Kapital, Energie, und Wärmebudgets, definiert ist, ausfüllt. Wie bei CMOS, PCs, Multicore, Virtualisierung, Mobilgeräten und zahlreichen anderen Entwicklungen zu sehen war, werde auch hier die breite Verfügbarkeit von Rechenressourcen zu radikal niedrigeren Preisen zu einer explosionsartigen Expansion und nicht zu einer Schrumpfung des Marktes führen.

KI werde in Zukunft in allen Bereichen zum Einsatz kommen. Heute sei es schlichtweg um Größenordnungen zu teuer, dieses Potenzial zu nutzen. Deswegen sei die Reaktion des Marktes falsch. Eine Senkung der Kosten für KI werde den Markt erweitern, nicht verkleinern. „Heute bin ich ein Käufer von Nvidia- und KI-Aktien und freue mich, dass ich von den niedrigeren Preisen profitieren kann.“

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu RZ- und Server-Technik

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Zweitens: Beim Engineering geht es um Zwänge. „Es ist klar, dass das Deepseek-Team zahlreiche Einschränkungen hatte und kreative Wege fand, um eine in jeder Hinsicht erstklassige Lösung zu 10-50-fach niedrigeren Kosten zu liefern.“

Gelsinger spielt darauf an, dass die westliche Fachwelt spekuliert, wie Deepseek an Nvidia-GPUs hat können können, ob wohl die USA einem Exportverbot gehorchen muss, das lieferungen nach China untersagt. Bewiesen ist allerdings nicht einmal, dass Deeseek die Grafikprozessoren benötigte.

Für Gelsinger steht fest: „Die Exportgesetze schränkten die verfügbaren Ressourcen ein, so dass die chinesischen Ingenieure kreativ werden mussten, was sie auch taten.“ Sie hätten schlichtweg keine Hardware im Wert von 10 Milliarden Dollar gebraucht und auch keine neuesten Chips und kein Schulungsbudget von mehreren Milliarden Dollar.

Er erzählt: „Vor Jahren führte ich einmal ein Interview mit dem berühmten (vielleicht größten) Computerwissenschaftler unserer Zeit, Don Knuth. Er beschrieb detailliert, wie er seine beste Arbeit leistete, als die Ressourcen am stärksten begrenzt und die Zeitpläne am anspruchsvollsten waren. Für mich war diese Erkenntnis eine der wichtigsten in meiner Karriere als Ingenieur.“

Drittens: Offenheit gewinnt. Man habe es wissen können: Nachdem die Macht zum Beispiel von Linux, GCC, USB und Wifi und dies allen Studenten der Computergeschichte klar geworden sei, war es . „enttäuschend zu beobachten, wie die Forschung zu den Grundmodellen in den letzten Jahren immer geschlossener wurde.“

Gelsinger fordert: „Wir müssen die Trainingsdaten kennen, die Algorithmen studieren und uns mit der Korrektheit, der Ethik und der Gültigkeit befassen“ und fügt an: „Der Kampf um rechtliche, spektrale und technische Aspekte sowie um die Akzeptanz von offenen Systemen ist nie einfach und wird immer wieder von den Marktkräften herausgefordert. Die offene Technologie gewinnt jedes Mal, wenn man ihr eine Chance gibt. Die künstliche Intelligenz ist für unsere Zukunft viel zu wichtig, als dass wir zulassen könnten, dass sich nur in diesem Bereich ein geschlossenes Ökosystem herausbildet.“

DeepSeek ist eine unglaubliche technische Errungenschaft, die zu einer stärkeren Verbreitung von KI führen wird. Es bedurfte eines stark eingeschränkten Teams aus China, um uns alle an diese grundlegenden Lektionen der Computergeschichte zu erinnern.

(ID:50299645)