KI-Infrastruktur und Modelloptimierung Turboquant soll Speicherengpass großer LLMs entschärfen

Anbieter zum Thema

Google Germany GmbH

Rosenberger-OSI GmbH & Co. OHG

Fujitsu Technology Solutions GmbH

Data Center Group – Büro Köln

Hinter „Turboquant“ von Google steht ein Quantisierungsverfahren, das den Speicherbedarf großer Sprachmodelle deutlich reduzieren soll. Ziel ist effizientere KI-Infrastruktur mit schnellerer Inferenz und geringeren Hardware-Anforderungen.

Google Research stellt gemeinsam mit Turboquant, „Quantized Johnson-Lindenstrauss“ und „Polarquant“ eine Reihe neuer Quantisierungsverfahren vor. Die Arbeiten entstehen mit Blick auf das zentrale Problem von KI-Infrastruktur: Große Sprachmodelle speichern riesige Mengen hochdimensionaler Vektoren, deren Verarbeitung enorme Speicher- und Bandbreitenressourcen benötigt.

Effiziente Architekturen für Künstliche Intelligenz

Wer KI richtig nutzt, investiert in Basis-Infrastruktur

CNCF Annual Survey: Die Infrastruktur der KI-Zukunft

Cloud Native wird zum KI-Zuhause, aber die Infrastruktur ächzt

Vektoren bilden die Grundlage semantischer KI-Verfahren. Sie repräsentieren Bedeutung, Kontext oder Bildmerkmale in mathematischer Form.

Doch mit wachsender Modellgröße wächst der Speicherbedarf stark. Besonders kritisch gilt der Key-Value-Cache, eine Hochgeschwindigkeitsstruktur, die Zwischenergebnisse speichert, damit Modelle lange Kontexte verarbeiten können. Dieser Speicherbereich entwickelt sich zunehmend zum Engpass für Inferenzleistung und Kosten.

Turboquant: Weniger Speicherbedarf bei hoher Genauigkeit

Turboquant zielt genau auf diesen Engpass ab: Das Verfahren komprimiert die Vektordaten im Key-Value-Cache und in Vektorsuchsystemen massiv, laut Forschungsergebnissen ohne messbaren Genauigkeitsverlust.

Diese zweistufige Architektur reduziert den Speicherbedarf laut Forschungspapier drastisch, während die mathematischen Eigenschaften der Daten erhalten bleiben. Im Kern kombiniert Turboquant zwei Schritte:

• 1. Die Polarquant-Methode: Diese Methode komprimiert die ursprünglichen Vektoren stark. Turboquant beginnt damit, die Datenvektoren zufällig zu drehen. Dieser Schritt vereinfacht sorgt dafür, dass auf jedem Teil des Vektors einzeln einen standardmäßigen, hochwertigen Quantisierer anzuwenden. In dieser ersten Stufe wird der größte Teil der Komprimierungskapazität (der Großteil der Bits) genutzt, um das Hauptkonzept des Vektors zu erfassen;

• 2. Beseitigung versteckter Fehler: Turboquant nutzt einen kleinen Rest der Komprimierungskapazität (nur 1 Bit), um den Quantized Johnson-Lindenstrauss-Algorithmus (QJL) auf die winzige Fehlermenge anzuwenden, die aus der ersten Stufe übrig geblieben ist. Die QJL-Stufe dient sozusagen als mathematischer Fehlerprüfer, der Verzerrungen beseitigt und so zu einem genaueren Aufmerksamkeitswert führt.

Tests mit offenen Sprachmodellen zeigen laut Google eine Kompression des Key-Value-Caches auf nur drei Bit pro Wert. Gleichzeitig steigt die Ausführungsgeschwindigkeit. Auf „H100“-GPUs von Nvidia erreicht die Berechnung der Attention-Werte laut Experimenten bis zu achtfach höhere Performance im Vergleich zu unkomprimierten 32-Bit-Daten.

„Enterprise AI Infrastructure Survey 2026“

Unternehmen holen KI-Workloads aus der Cloud zurück

Infrastruktur am Wendepunkt

5 Prognosen für 2026, die KI, Resilienz und digitale Souveränität prägen

Polarquant: Koordinatentransformation als Kompressionsstrategie

Polarquant nutzt eine Transformation in Polarkoordinaten, also eine Darstellung über Radius und Winkel anstelle der klassischer X-Y-Z-Achsen. Diese Darstellung erlaubt eine effizientere Normalisierung, da sich Datenpunkte auf ein vorhersehbares geometrisches Raster abbilden lassen.

Die Methode reduziert damit einen klassischen Nachteil bisheriger Quantisierung. Traditionelle Verfahren benötigen zusätzliche Präzisionswerte, so genannte Quantisierungskonstanten. Diese Zusatzdaten verursachen selbst wieder Speicherbedarf. Polarquant vermeidet diesen Overhead weitgehend.

QJL: Es reicht ein Bit zur Fehlerkorrektur

QJL basiert auf der Johnson-Lindenstrauss-Transformation, einer mathematischen Methode zur Dimensionsreduktion bei Erhalt von Abständen zwischen Datenpunkten. Das Verfahren speichert nur das Vorzeichen eines Wertes, also ein einzelnes Bit.

Dieses Bit dient als Fehlerkorrektur für die erste Kompressionsstufe. Dadurch lassen sich Verzerrungen reduzieren, die sonst bei starker Quantisierung entstehen würden. Entscheidend ist dabei eine Grundlage, die das Abfragen mit stark komprimierten Daten ermöglicht.

Auswirkungen auf die Vektorsuche und semantische Suche

Neben Sprachmodellen zielt die Forschung stark auf Vektorsuchsysteme. Diese Systeme finden semantisch ähnliche Inhalte in sehr großen Datensätzen und bilden die Basis moderner Suche, Empfehlungssysteme und Retrieval-Augmented Generation.

Turboquant beschleunigt laut Experimenten sowohl den Aufbau von Vektorindizes als auch die Abfrage. In Tests erreicht das Verfahren hohe Recall-Werte, also eine hohe Trefferquote bei der Suche nach ähnlichen Vektoren, trotz deutlich kleinerer Datenrepräsentation.

KI-Chips und -Beschleuniger sorgen für fiebrige Hektik

Bewegung im Halbleitermarkt

Graphen-basierte Photonik-Verbindungen in der Mache

Halbleiter-Startup aus Aachen erhält über 250 Millionen

Die KI-Infrastrukturfrage: Welche Bedeutung hat Turboquant für die Infrastruktur?

Die Arbeiten greifen ein grundlegendes Skalierungsproblem moderner KI-Systeme auf: Speicherbedarf und Datenbewegung treiben Kosten und Energieverbrauch immer weiter nach oben. Effiziente Quantisierung ist deshalb ein zentrales Forschungsfeld für künftige KI-Plattformen.

Die Forschung zielt nicht auf bestimmte Modelle, sondern auf mathematische Grundverfahren und lässt sich damit auf Sprachmodelle, semantische Suche und weitere Anwendungen mit großen Vektordatenbanken übertragen. Veröffentlicht werden die Ergebnisse auf der ICLR 2026 Ende April und der AISTATS 2026 Anfang Mai.

(ID:50807437)