Mobile-Menu

Milvus: sucht Vektoren im offenen Data Lake Vektorsuche auf Parquet, Iceberg und Lance

Von Thomas Joos 2 min Lesedauer

Anbieter zum Thema

Stäubli TEC-Systems GmbH Connectors
Data Center Group GmbH
PQ Plus GmbH

Milvus verlagert die Vektorsuche in den Data Lake und indiziert Einbettungen dort, wo die Daten ohnehin liegen. Die dritte Hauptversion der quelloffenen Datenbank trennt Speicher und Rechenleistung und liest offene Tabellenformate ohne zweite Kopie.

Milvus: sucht Vektoren im offenen Data Lake(Bild: Thomas Joos)
Milvus: sucht Vektoren im offenen Data Lake
(Bild: Thomas Joos)

Vektordatenbanken bilden das Gedächtnis vieler KI-Anwendungen und liefern zu einer Anfrage die inhaltlich nächsten Treffer. Mit „Milvus 3.0“ stellt das Projekt Zilliz die Architektur auf einen lake-nativen Unterbau um. Die Datenbank indiziert Vektoren, die in Objektspeicher und offenen Tabellenformaten liegen, und durchsucht sie ohne separaten Serving-Bestand. Zu den unterstützten Formaten zählen Parquet, Lance, Iceberg und Vortex. Damit rückt die Suche an die Datenhaltung heran, statt eine eigene Kopie zu verlangen.

Speicher und Rechenleistung getrennt

Den Kern der neuen Fassung bildet die Speicherschicht Loon, auch Storage v3 genannt. Sie ordnet Felder in sogenannte ColumnGroups und legt sie spaltenweise in S3-kompatiblem Objektspeicher ab. Nach Messungen des Projekts sinkt der Leseaufwand je Punktabfrage dadurch stark. In einem Vergleich mit drei Millionen Zeilen und 256 gleichzeitigen Lesern fällt die übertragene Datenmenge je Lesevorgang von rund 9,4 Megabyte auf 0,07 Megabyte, das entspricht nach Projektangaben dem rund 135-Fachen.

Die Werte stammen vom Hersteller und sind nicht unabhängig geprüft.

Die strengere Trennung von Speicher und Rechenleistung ordnet die beiden Ebenen unabhängig voneinander. Ein Betreiber skaliert die Suchknoten getrennt vom Speicher und legt kalte Daten im günstigen Objektspeicher ab. Für das Rechenzentrum senkt das die Kosten je gespeichertem Vektor und hält den aktiven Teil des Index klein.

Schnellere spärliche Vektoren

Bei den spärlichen Vektoren führt Milvus einen neuen Index mit dem Namen SINDI ein, der auf gelernte spärliche Einbettungen zielt. Über vier SPLADE-Datensätze erreicht er nach Projektangaben bis zum Zehnfachen der Abfragen pro Sekunde gegenüber dem bisherigen Verfahren MaxScore, im schlechtesten Fall das Fünffache.

Zugleich schrumpft der Speicherbedarf des Index durch Komprimierung und Quantisierung auf rund ein Drittel der Vorgängerfassung. Über External Collections liest die Datenbank Tabellen im Data Lake schreibgeschützt und ohne Kopie, sodass Teams Bestände aus Analyseplattformen ohne Umweg durchsuchen. Neben der reinen Nachbarschaftssuche beherrscht die Engine nun auch Rangfolgen, Aggregationen und die Suche über mehrere Vektoren je Objekt.

Fazit

Milvus 3.0 rückt die Vektorsuche näher an die vorhandenen Datenbestände und spart die doppelte Haltung von Serving- und Analysedaten. Für Rechenzentren, die KI-Retrieval auf großen Mengen betreiben, senkt der lake-native Ansatz den Speicherbedarf und die Kopierlast. Mit Apache-Lizenz und Anbindung an offene Tabellenformate bleibt die Datenbank in bestehende Datenplattformen integrierbar.

(ID:50923623)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu RZ- und Server-Technik

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte