Der größte KI-Supercomputer in der Cloud Oracle bietet ersten Zettascale-Cluster für Cloud Computing an

Anbieter zum Thema

Oracle Marketing Cloud

NVIDIA GmbH

Schneider Electric GmbH

Fsas Technologies GmbH

STACKIT GmbH & Co. KG

Es wird ein System der Superlative: Der KI-Superrechner, den Oracle seinen Cloud-Kunden anbieten will, bekommt bis zu 131.072 Grafikprozessoren von Nvidia eingepflanzt, um Training und Inferenz von in großem Maßstab zu ermöglichen.

Bekannt gegeben hat Oracle die Pläne auf der Veranstaltung „Cloud World. Es sei das weltweit erste Zettascale-Cloud-Computing-Cluster in einer Cloud und die Grundlage für die verteilte Cloud bilde die „Blackwell“-Plattform von Nvidia.

Oracle Cloud Infrastructure (OCI) eine bisher beispiellose Spitzenleistung von 2,4 ZettaFlops. Die maximale Skalierung von „OCI Supercluster“ biete mehr als dreimal so viele GPUs wie der Supercomputer „Frontier“und mehr als sechsmal so viele wie andere Hyperscaler. Das System umfasst „OCI Compute Bare Metal“, „RoCEv2“ mit ultra-niedriger Latenz, „ConnectX-7„

“ NICs und „ConnectX-8 SuperNICs“ von Nvidia oder „Quantum-2“ Infiniband-basierte Netzwerke sowie eine Auswahl an HPC-Speichern.

Die Auswahl

OCI Supercluster können mit „OCI Compute“ bestellt werden, das entweder mit „Nvidia H100“ oder „H200 Tensor Core“ GPUs oder Blackwell GPUs betrieben wird.

• OCI Supercluster mit H100-GPUs können bis zu 16.384 GPUs mit einer Leistung von bis zu 65 ExaFlops und einem aggregierten Netzwerkdurchsatz von 13 Petabyte pro Sekunde (Pb/s) skalieren.

• OCI Supercluster mit H200-GPUs skalieren auf bis zu 65.536 GPUs mit einer Leistung von bis zu 260 ExaFlops und einem aggregierten Netzwerkdurchsatz von 52 Pb/s und werden noch in diesem Jahr verfügbar sein.

• OCI Supercluster mit flüssigkeitsgekühlten „Nvidia GB200 NVL72“ Bare-Metal-Instanzen nutzen „NVLink“ und „NVLink Switch“, damit bis zu 72 Blackwell-GPUs mit einer Gesamtbandbreite von 129,6 TB/s in einer einzigen NVLink-Domäne miteinander kommunizieren können.

Die Nvidia Blackwell GPUs, die in der ersten Hälfte des Jahres 2025 verfügbar sein werden, ermöglichen mit NVLink der fünften Generation, NVLink Switch und Cluster-Netzwerken eine nahtlose GPU-GPU-Kommunikation in einem einzigen Cluster.

Mahesh Thiagarajan, Executive Vice President, Oracle Cloud Infrastructure, sagt: „Wir haben eines der umfangreichsten KI-Infrastrukturangebote und unterstützen Kunden, die einige der anspruchsvollsten KI-Workloads in der Cloud ausführen. Mit der verteilten Cloud von Oracle haben Kunden die Flexibilität, Cloud- und KI-Services dort einzusetzen, wo sie wollen, und dabei ein Höchstmaß an Daten- und KI-Souveränität zu wahren.“

Widelabs schult portugiesische LLMs auf OCI

Zum Kundenkreis gehören Widelabs und Zoom. Sie nutzen die KI-Infrastruktur von OCI mit leistungsstarken Sicherheits- und Souveränitätskontrollen. WideLabs ist ein Startup für angewandte KI in Brasilien. Das Unternehmen schult eines der größten brasilianischen LLMs, „Amazonia IA“, auf OCI. Dazu hat es „BaIgrapher“ entwickelt, eine Anwendung, die ihr LLM nutzt, um biografische Inhalte auf der Grundlage von Daten zu generieren, die von Patienten mit Alzheimer-Krankheit gesammelt wurden, um ihnen zu helfen, wichtige Erinnerungen zu bewahren.

WideLabs nutzt die Oracle Cloud São Paulo Region, um seine KI-Workloads auszuführen und sicherzustellen, dass sensible Daten innerhalb der Landesgrenzen bleiben. So kann die Company die brasilianischen Anforderungen an die KI-Souveränität einhalten, da es kontrollieren kann, wo seine KI-Technologie eingesetzt und betrieben wird. Zum Einsatz kommen die H100-Grafikprozessoren, um die LLMs zu trainieren, sowie die „Oracle Kubernetes Engine“, um GPU-beschleunigte Container über einen OCI Supercluster bereitzustellen, zu verwalten und zu betreiben.

Souveränitätsfunktionen von OCI für einen generativen KI-Assistenten

Zoom, bekannt für das Angebot an virtuellen Meetings und Konferenzen, nutzt OCI zur Bereitstellung von Inferenzen für „Zoom AI Companion“, den persönlichen KI-Assistenten des Unternehmens, der ohne zusätzliche Kosten verfügbar ist. Das Tool hilft Nutzern etwa dabei, E-Mails und Chat-Nachrichten zu verfassen, Meetings und Chat-Threads zusammenzufassen, Ideen während Brainstormings mit Kollegen zu entwickeln.

Die Daten- und KI-Souveränitätskapazitäten von OCI sollenZoom dabei helfen, Kundendaten lokal in der Region zu halten und die KI-Souveränitätsanforderungen etwa in Saudi-Arabien zu unterstützen, wo die Lösung von OCI zunächst eingeführt wird. Dazu bemerkt Bo Yan, Head of AI bei Zoom: „Durch die Nutzung der KI-Fähigkeiten von OCI ist Zoom in der Lage, präzise Ergebnisse mit geringer Latenz zu liefern, die es den Nutzern ermöglichen, nahtlos zusammenzuarbeiten, mühelos zu kommunizieren und Produktivität, Effizienz und Potenziale wie nie zuvor zu steigern.“

(ID:50161854)