Generative K Snowflake bringt quelloffenes LLM für Enterprise Intelligence

Anbieter zum Thema

Snowflake Computing GmbH

Vertiv GmbH

DAXTEN GmbH

DeRZ - Deutsche Rechenzentren GmbH

Snowflake hat mit „Arctic“ ein Large Language Model für Generative KI vorgestellt. Es ist quelloffen und soll sich besonders für „Enterprise Intelligence“ eignen. Es sei besonders effizient und leistungsfähig im Generieren von Programmcode und SQL-Abfragen.

Snowflake, Anbieter von Data Warehousing in der Cloud, hat mit „Arctic“ ein quelloffenes Sprachmodell (LLM) angekündigt, das laut CEO Sridhar Ramaswamy speziell für Business Intelligence und Unternehmen entwickelt wurde, also nicht für Endanwender, wie bei ChatGPT der Fall. Beim Erzeugen von SQL-Abfragen und bei der Ausführung von Anweisungen nutzt Arctic eine sogenannte „Mixture-of-Experts“-Architektur, womit sich Snowflake bestens für Unternehmensaufgaben aufgestellt sieht. Nach eigenen Angaben seien mehrere Benchmark-Tests der IT-Branche mit Bestnoten absolviert worden.

Die genannte „Mixture-of-Experts“-Architektur (MoE), die von der KI-Ingenieurin Yuxiong He bei Snowflake entworfen wurde, stärkt nach ihren Angaben sowohl die Trainingssysteme als auch die Modellleistung mit besonderem Augenmerk auf die Bedürfnisse von Unternehmen: „Wir haben 128 Experten beim Training und in den Benchmarks verwendet.“ Nach ihren Worten aktiviert Arctic 17 von 480 Milliarden Parametern gleichzeitig und erreicht damit branchenführende Qualität und Token-Effizienz. Während der Inferenz und des Trainings aktiviert Arctic rund 50 Prozent weniger Parameter als DBRX (von Databricks) und 75 Prozent weniger als Llama 3 70B (von Meta). „Wir trainierten Arctic auf 1.000 GPUs über mehrere Wochen hinweg“, und die gesamte Entwicklung habe nur drei Monate gedauert.

Arctic übertrifft nach ihren Angaben andere führende offene Modelle wie DBRX, Llama 2 70B oder Mixtral-8x7B beim Generieren von Code (HumanEval+, MBPP+) und von SQL (Spider- und Bird-SQL). Letzteres ist für Datenanalyse sehr wichtig. „Gleichzeitig bietet Arctic starke Leistung beim allgemeinen Sprachverständnis (MMLU).“

Für das Training wurden die P5-Instances der Amazon Elastic Compute Cloud (Amazon EC2) verwendet, die bereits für Machine Learning optimiert sind. Als Systemanforderung nannte Ramaswamy acht GPUs auf einem Rechnerknoten. Unter einer quelloffenen Apache-2.0-Lizenz veröffentlicht Snowflake transparent die Parameter, deren Gewichtung und weitere Trainingsdetails von Arctic. Die Gewichtung ist entscheidend für die Ausrichtung und Treffsicherheit der Ergebnisse eines Modells. Sie soll u. a. verhindern, dass Modelle „halluzinieren“.

Embedding-Modelle

Neben dem Sprachmodell beinhaltet die Snowflake Arctic Modell-Familie auch „Arctic embed“-Embedding-Modelle, welche ebenfalls über die Open-Source-Lizenz Apache 2.0 angeboten werden. Diese fünf Embedding-Modelle sind ab sofort auf Hugging Face verfügbar und werden bald auch in der „Private Preview“ als Teil der Snowflake-Cortex-Embed-Funktion nutzbar sein. Cortex, ein verwalteter KI-Dienst, soll in Kürze bereitstehen.

Diese Embedding-Modelle sind so optimiert, dass sie bei nur einem Drittel der Größe vergleichbarer Modelle dennoch hohe Retrieval-Leistung erbringen. Nach Angaben von Ramaswamy können Unternehmen diese als „leistungsstarke und kosteneffiziente Lösung“ verwenden, wenn sie eigene Datensätze mit Sprachmodellen für Retrieval Augmented Generation (RAG) oder einen semantischen Suchdienst kombinieren. Klartext: Embedding-Modelle verhelfen zu schnelleren und vielseitiger verwendbaren KI-Modellen, was den individuellen Anforderungen eines Einsatzbereichs zugutekommt, etwa im Marketing oder im Gesundheitswesen.

Erweiterungen

Arctic ist erweiterbar. Snowflake priorisiert nach Angaben des CEOs den Zugang der Kunden zu „den neuesten und leistungsstärksten Sprachmodellen“ über die Snowflake Data Cloud, darunter die jüngsten Erweiterungen: die Modelle von Reka und Mistral AI . In einer Pressekonferenz wurde verlautet, dass es für Mistral AI bereits einen Copilot gibt.

Zudem hat Snowflake kürzlich eine Erweiterung der Partnerschaft mit Nvidia angekündigt, die die Nvidia Accelerated Platform mit der Snowflake Data Cloud verbindet. Diese Kombination aus Dateninfrastruktur und Rechenleistung dient laut CEO dazu, die KI-Produktivität zu steigern. Vor diesem Hintergrund hat das Finanzunternehmen Snowflake Ventures zuletzt in Mistral AI, Reka und weitere Unternehmen investiert, um Kunden bei der Wertschöpfung ihrer Unternehmensdaten mithilfe von Sprachmodellen und KI zu unterstützen. Ähnliches haben Microsoft bei OpenAI und AWS bei Anthropic getan.

Offenheit und Wahlfreiheit

Ein wichtiges Unterscheidungsmerkmal bei Arctic ist die Quelloffenheit. Warum Open Source, wurde der CEO in der Pressekonferenz gefragt. Er bzw. sein Head of AI, Baris Gultekin, verwies auf eine aktuelle Studie der Forrester Group, wonach etwa 46 Prozent der KI-Entscheidungsträger in Unternehmen auf bestehende Open-Source-Sprachmodelle für Generative KI zurückgreifen.

„Die Dateninfrastruktur von Snowflake, auf die mehr als 9.400 Firmen und Organisationen (Stand Januar 2024) setzen, ermöglicht allen Nutzern, ihre Daten mit branchenführenden offenen Sprachmodellen zu nutzen und dabei flexibel zu entscheiden, auf welche Modelle sie konkret setzen“, so Gultekin.

Arctic sei ein eigenes, leistungsstarkes und quelloffenes Modell unter der Apache-2.0-Lizenz, die uneingeschränkt private, wissenschaftliche und kommerzielle Nutzung erlaubt. Außerdem biete Snowflake eine Reihe von Code-Vorlagen sowie flexible Inferenz- und Trainingsoptionen an, sodass Nutzer schnell damit beginnen können, Arctic auf ihre bevorzugten Frameworks anzupassen und zu nutzen. Darunter zählen Nvidia NIM mit Nvidia TensorRT-LLM, vLLM und Hugging Face.

Für die sofortige Anwendung steht für Arctic die serverlose Inferenz in Snowflake Cortex in der Data Cloud zur Verfügung, Snowflakes vollständig verwaltetem Dienst für Machine Learning- und KI-Lösungen in der Data Cloud. Zusätzlich werde Arctic auch auf AWS sowie auf Hugging Face, Lamini, Microsoft Azure, Nvidia API Catalog, Perplexity und Together AI verfügbar sein.

Als nächste Bausteine will Snowflake Leistungsmerkmale für Kollaboration und bereinigte Daten, sogenannte Cleanrooms, bereitstellen. „Arctic ist in strategischer Hinsicht eine übergreifende Komponente für alles andere bei Snowflake und erhöht den Wert von Kundenprojekten“, sagte der CEO. Laut Baris Gultekin fühlt sich Snowflake an alle rechtlichen Vorgaben hinsichtlich Datensicherheit, Datenschutz, Transparenz der Modelle und der damit verbundenen Verantwortung (Governance) gebunden.

Kommentare von KI-Experten

„In den letzten Monaten gab es eine ganze Welle an Open-Source-KI“, sagt Clement Delangue, CEO und Mitgründer von Hugging Face. „Wir sind begeistert, dass Snowflake dazu beiträgt – und das nicht nur mit der Einführung eines Modells unter einer Apache-2.0-Lizenz, sondern auch mit Details über das Training des Modells. Das bringt Unternehmen die notwendige Transparenz und Kontrolle, um KI-Lösungen zu bauen. Davon profitiert die gesamte Branche.“

„Wir freuen uns, den Geschäftskunden mehr Auswahl in der sich rapide weiterentwickelnden KI-Landschaft zu bieten, indem wir die robusten Fähigkeiten von Snowflakes neuem Sprachmodell Arctic im Microsoft-Azure-AI-Model-Katalog anbieten“, sagt Eric Boyd, Corporate Vice President, Azure AI Platform, bei Microsoft.

(ID:50019436)