Beschleunigung im Server AMD-GPUs für das GenAI-Portfolio von Dell Technologies

Anbieter zum Thema

Dell GmbH

DAXTEN GmbH

Fsas Technologies GmbH

Penta Infra

Dell Technologies erweitert sein Angebot für generative Künstliche Intelligenz. Der Server „Poweredge XE9680“ etwa steht jetzt mit den Beschleunigern „AMD Instinct MI300X“ zur Verfügung. Passend dazu gibt es neue „Validated Designs“ und weitere Implementierungsservices.

Nach Herstellerangaben bietet der Dell-Server Powerdge XE9680 mit AMD Instinct MI300X leistungsstarke Funktionen für generative KI, auch als GenAI bezeichnet. Der Server ist mit acht MI300X-Beschleunigern ausgestattet, kommt insgesamt auf eine HBM3-Kapazität von 1,5 Terabyte (HBM = High Bandwidth Memory) und bietet eine theoretische maximale FP18-Performance von 42 PetaFlops. Damit gewährleistet der Server ein schnelles Training und einen performanten Einsatz von großen Sprachmodellen.

Wie Luke Mahon, Director, AI Solutions TME bei Dell-Technologies, in einem Blog-Beitrag schreibt, werde die rasante Entwicklung von KI wird durch die Verschmelzung von Open-Source-Technologien und Hardware-Beschleunigung vorangetrieben. Dell Technologies und AMD stünden an vorderster Front und böten Infrastrukturlösungen vor Ort an, die bis zu 75 Prozent kosteneffizienter seien als IaaS-Angebote via Public Cloud IaaS und zudem auf die Unterstützung generativer KI-Anwendungen in Unternehmen zugeschnitten.

Die vereinfachte Bereitstellung durch die Software „Dell Openmanage Enterprise“ und die Automatisierung mit „Apex AIOps“ soll es Unternehmen ermöglichen, den Server schnell zu implementieren und ihre GenAI-Lösungen rasch zu skalieren. Erweiterte Sicherheitsfunktionen wie eine integrierte „Cyber Recovery“ sowie die Gestaltung des Servers nach dem Zero-Trust-Prinzip gewährleisten dabei gleichzeitig eine robuste Sicherheit.

Hilfe für schnelles Implementieren von generativer KI

Das im Mai angekündigte und heute verfügbare „Dell Validated Design for Generative AI with AMD“ ist laut Mahon der nächste Schritt von „Dell Generative AI Solutions“, der es Unternehmen erleichtert, vertrauenswürdige GenAI einzusetzen. Es handelt sich quasi um eine Design-Anleitung und bietet Unternehmen sowie Entwicklern umfassende Hinweise zur Implementierung von LLM-Inferencing und Modellanpassung aber auch von fortgeschrittenen Techniken wie Fine-Tuning und Retrieval Augmented Generation (RAG).

Entwickler können mit Open-Source-LLM-Modellen von Partnern wie Hugging Face und Meta, die auf offenen Standards basieren und den Bedarf an proprietären KI-Software-Suites reduzieren, die Entwicklung vereinfachen und Workflows frei anpassen. So ermöglicht das Dell Validated Design angetrieben von AMD Instinct MI300X-Beschleunigern eine nahezu lineare Skalierung und niedrige Latenz bei verteiltem GenAI-Training und Inferencing.

Der „Powerscale F710" etwa liefere schnelle KI-Einsichten mit massiven Verbesserungen der Streaming-Leistung, die alle Phasen der KI-Pipeline beschleunigt.

Der „Dell Powerswitch Z9664F-ON“ mit 64 an 400-GbE-Ports liefere Ethernet-Fabrics mit niedriger Latenz und hohem Durchsatz für moderne KI-Cluster.

Un die für KI optimierte „Broadcom Thor2 NIC“ ermögliche 400G und verbindee die MI300X-Beschleuniger mit den branchenweit niedrigsten Stromanforderungen.

Mahon: „Wir haben das Dell Validated Design für generative KI mit AMD veröffentlicht, das die Entwicklung kundenspezifischer Anwendungen auf der Grundlage offener Frameworks ermöglicht und sorgen mit unsere neuen Deployment-Services, die ab September verfügbar sind, für eine reibungslose Integration dieser Innovationen in Ihren Betrieb.“ Das ist so gedacht, dass erfahrene Experten Unternehmen dabei helfen sollen, schnell eine voll einsatzfähige Plattform zu etablieren, die nötigen Tools und Frameworks in ihre Umgebungen einzubinden und Best Practices für einen sicheren und reibungslosen Betrieb umzusetzen.

(ID:50107916)