Mobile-Menu

KI-Architektur Nvidia und Vast Data starten Echtzeit-KI-Lösung für Unternehmen

Von Alexander Siegert 2 min Lesedauer

Anbieter zum Thema

VAST Data
NVIDIA GmbH
Kentix GmbH
Data Center Group – Büro Köln
ConSysTech GmbH

Vast Data und Nvidia haben die „Vast Insight Engine“ vorgestellt. Die KI-Lösung erfasst, verarbeitet und nutzt Unternehmensdaten in Echtzeit. Ziel sei es, die Dateninfrastruktur zu optimieren, um die volle Leistungsfähigkeit von KI auszuschöpfen.

Die KI-Lösung von Vast Data und Nvidia soll Unternehmen helfen, aus der Menge an strukturierten Daten, die richtigen Informationen zu finden und sofort nutzbar zu machen.(Bild: Midjourney/ KI-generiert)
Die KI-Lösung von Vast Data und Nvidia soll Unternehmen helfen, aus der Menge an strukturierten Daten, die richtigen Informationen zu finden und sofort nutzbar zu machen.
(Bild: Midjourney/ KI-generiert)

Die neue Engine soll die Dateninfrastruktur optimieren, um Unternehmen bei der Skalierung ihrer KI-Anwendungen zu unterstützen und dafür Dateien, Objekte, Tabellen und Datenströme erfassen.

In den Unternehmen entstehen durch wachsende und komplexe IT-Infrastrukturen große Mengen an unstrukturierten Daten. Ein zentrales Problem dabei ist, dass aktuelle Retrieval-Systeme oft nicht in der Lage sind, Daten in Echtzeit zu verarbeiten.

Dies führt dazu, dass KI-Modelle häufig veraltete Informationen verwenden, da sie nur periodisch trainiert werden. Darüber hinaus können sie Halluzinationen erzeugen, wenn sie ausschließlich auf ihre Trainingsdaten angewiesen sind. Ein weiteres Hindernis ist die mangelnde Fähigkeit von KI-Modellen, Zugriffsrechte zu steuern, was den Umgang mit sensiblen Unternehmensdaten erschwert.

Unstrukturierte Datenmassen im Zugriff

Die Vast Insight Engine zielt darauf ab, diese Herausforderungen zu bewältigen. Sie ermöglicht die Echtzeitindexierung und -verarbeitung von Daten aus verschiedenen Quellen, um KI-gestützte Entscheidungen sofort zu unterstützen. Dabei werden externe Datenquellen in Echtzeit eingebunden, was die Effizienz und Aktualität der bereitgestellten Informationen verbessert.

Das System ist speziell für Anwendungen im Bereich der Real-Time Retrieval-Augmented Generation (RAG) konzipiert und soll es Unternehmen ermöglichen, riesige Datenmengen effizient zu verwalten und Zugriffsrechte in Echtzeit zu synchronisieren.

Jeff Denworth, Mitbegründer von Vast Data, erläutert: „Durch die Zusammenführung aller Elemente der KI-Retrieval-Pipeline in einer Unternehmensdatenbasis ist Vast Data Insight Engine mit Nvidia die branchenweit erste Lösung, die einen universellen Überblick über alle strukturierten und unstrukturierten Daten eines Unternehmens bietet, um eine fortschrittliche KI-gestützte Entscheidungsfindung zu ermöglichen.“

Der Nvidia-Anteil

In die Engine integriert wurden auch Microservices von „Nvida NIM“, die Teil der „Nvidia AI Enterprise-Plattform“ sind. Justin Boitano, Vice President, Enterprise AI bei Nvidia, kommentiert:

„Durch die Integration von Nvidia NIM in Vast Insight Engine mit Nvidia können Unternehmen sicherer und effizienter auf Daten in jeder Größenordnung zugreifen und diese schnell in umsetzbare Erkenntnisse umwandeln.“

Über Nvidia NIM

Die Softwareplattform „NIM“ wurde von Nvidia entwickelt, um eine schnelle und effiziente Bereitstellung von benutzerdefinierten und vortrainierten KI-Modellen in Produktionsumgebungen zu ermöglichen. NIM kombiniert ein ausgewähltes Modell mit einer optimierten Inferenz-Engine in einem Container, der als Microservice bereitgestellt wird. Dadurch können Entwickler KI-Modelle ohne umfangreiche Kenntnisse schnell implementieren.

Die Plattform unterstützt verschiedene Modelle, darunter solche von Nvidia, A121, Adept, Cohere sowie Open-Source-Modelle von Google, Hugging Face und anderen. NIM wird in Kooperation mit Unternehmen wie Amazon und Microsoft über Plattformen wie „Sage Maker“ und „Azure AI“ angeboten. Nvidia NIM integriert sich auch in Frameworks wie „Deepset“ und „Langchain“. Mit NIM schafft Nvidia ein Ökosystem von KI-fähigen Containern, die Unternehmen bei der Umsetzung ihrer KI-Strategien unterstützen sollen.

Die Engine möchte sich durch ihre skalierbare, semantische Datenbank und Echtzeit-Datenverarbeitung von anderen RAG-Lösungen abheben. Sie bietet eine einheitliche Datenarchitektur, die externe Data Lakes überflüssig macht und gleichzeitig Kosten sowie Komplexität reduzieren soll. Auch das Modell „Grok“ von Elon Musks Unternehmen „xAI“ will zukünftig mit der Engine arbeiten. Sie wird ab Anfang 2025 verfügbar sein.

(ID:50203239)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu RZ- und Server-Technik

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte