Serverprozessoren für KI-Agenten Agentische KI ist ein Workflow, keine einzelne Workload

Von Paula Breukel 2 min Lesedauer

Anbieter zum Thema

Wer KI-Agenten betreibt, braucht laut AMD kein einzelnes CPU-Modell, sondern ein ganzes Portfolio. Der Grund: Jeder Schritt im Agenten-Workflow stellt eigene Anforderungen an den Prozessor.

Warum KI-Agenten kein Selbstläufer sind: Agentische KI-Workflows stellen unterschiedliche Anforderungen an Rechenzentrums-Hardware.(Bild: ©  SVasco - stock.adobe.com)
Warum KI-Agenten kein Selbstläufer sind: Agentische KI-Workflows stellen unterschiedliche Anforderungen an Rechenzentrums-Hardware.
(Bild: © SVasco - stock.adobe.com)

In einem Blogbeitrag erklärt Dan McNamara, Senior Vice President und General Manager für Compute und Enterprise AI bei AMD, warum ein einzelnes Rechenprofil für agentische KI-Systeme nicht ausreicht. Ein KI-Agent beantworte nicht einfach eine Anfrage, sondern interpretiere Absichten, hole sich Kontext, plane die nächsten Schritte, rufe Tools auf, wende Regeln an, führe Code in einer Sandbox aus, stoße Transaktionen an und werte die Ergebnisse aus.

Viele Schritte, viele Anforderungen

Eine typische Anfrage durchläuft laut McNamara mehrere Stationen: Zuerst prüft ein Gateway die geltenden Richtlinien. Eine Planungsebene, oft mit kleineren KI-Modellen, entscheidet über den weiteren Weg der Anfrage. Der Agent fragt anschließend Datenbanken ab, nutzt einen GPU-Cluster für komplexere Schlussfolgerungen, führt darauf basierende Aktionen aus, prüft das Ergebnis und entscheidet, ob eine weitere Schleife nötig ist oder der Vorgang abgeschlossen werden kann.

Jede dieser Stationen belaste die Hardware unterschiedlich: Manche Schritte benötigten viele CPU-Kerne, andere hohe Taktfrequenzen mit planbarer Latenz, wieder andere viel Arbeitsspeicher, Datendurchsatz oder die Fähigkeit, viele parallele Dienste zu hosten.

Drei CPU-Profile für drei Aufgaben

AMD ordnet seiner „EPYC“-Prozessorfamilie dabei drei Rollen im Agenten-Workflow zu:

Für Orchestrierung, Sandbox-Ausführung und Tool-Aufrufe, wenn also viele Agenten gleichzeitig Code ausführen, APIs aufrufen oder Datenbanken abfragen, zählt laut AMD vor allem die Kerndichte. Die fünfte Generation der „EPYC“-Serverprozessoren biete hierfür bis zu 192 Kerne und 384 Threads mit Simultaneous Multithreading. Die kommende Generation mit dem Codenamen „Venice“ soll diesen Wert auf 256 Kerne und 512 Threads erhöhen.

Für die Ausführung von Tools in Unternehmensanwendungen setzt AMD auf die Prozessorfamilie „EPYC 9005“, die mit 8 bis 192 Kernen und bis zu 640 GB/s Speicherbandbreite ein breites Spektrum an Anfragen abdecken soll. Venice soll hier die Kern- und Thread-Zahl um das 1,3-Fache und die Speicherbandbreite um das 2,5-Fache steigern.

Für das eigentliche Schlussfolgern durch Inferenz, das überwiegend auf GPUs läuft, kommt es laut AMD vor allem auf die Leistung pro Kern und hohe Taktfrequenzen der Host-CPU an, die den GPU-Cluster mit Anweisungen versorgt. Hierfür nennt McNamara den Prozessor „EPYC 9575F“ mit 64 Kernen und einer Taktfrequenz von bis zu 5 GHz. Auch bei den Taktfrequenzen soll Venice nachlegen.

Neben den EPYC-CPUs verweist AMD auf die eigenen „Instinct“-Beschleuniger für Training und Inferenz sowie auf „Pensando“-Netzwerktechnik für den Datentransport zwischen den einzelnen Workflow-Schritten.

Weg vom Standard

McNamara beobachtet bei Unternehmenskunden zwei wiederkehrende Muster. Zum einen orientierten sich viele Beschaffungsstrategien noch an älteren Standardkonfigurationen mit 16 oder 32 Kernen. Da agentische Workflows in einzelnen Phasen höhere Kernzahlen und in anderen höhere Taktfrequenzen benötigten, brauche es stattdessen die Flexibilität, für beide Fälle passend zu konfigurieren.

Zum anderen verstärke sich die Belastung der bestehenden IT-Infrastruktur, sobald Mitarbeitende eigene Agenten bauen und einsetzen können. Betroffen seien dann auch Datenbanken sowie Systeme für Enterprise-Resource-Planning, Kundenbeziehungsmanagement, Business Intelligence, Identitätsmanagement und Inferenz-Server.

IT-Verantwortliche sollten den Workflow ihrer Agenten daher frühzeitig kartieren und für jede Phase das passende Rechenprofil auswählen, statt eine einzelne GPU- oder CPU-Strategie für alle Anwendungsfälle zu verfolgen, so McNamara.

(ID:50896514)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu RZ- und Server-Technik

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung