Mobile-Menu

SGLang: mehr Durchsatz für die LLM-Inferenz RadixAttention nutzt den KV-Cache über Anfragen hinweg

Von Thomas Joos 2 min Lesedauer

Anbieter zum Thema

Portus Data Centers
Vertiv GmbH
VON ZUR MÜHLEN'SCHE GmbH

SGLang bedient große Sprachmodelle mit hohem Durchsatz und teilt gemeinsame Präfixe im KV-Cache über viele Anfragen. Das quelloffene Framework läuft auf GPU-Clustern von Nvidia und AMD und bündelt eingehende Anfragen fortlaufend. Betreiber senken damit die Kosten je Token im produktiven Betrieb.

SGLang: mehr Durchsatz für die LLM-Inferenz(Bild: Thomas Joos)
SGLang: mehr Durchsatz für die LLM-Inferenz
(Bild: Thomas Joos)

Der Betrieb großer Sprachmodelle bindet im Rechenzentrum teure GPU-Kapazität, und jede ungenutzte Speicherbank im Beschleuniger kostet Geld. SGLang steigert die Auslastung solcher Cluster und stammt aus einem Projekt der LMSYS-Gruppe. Das Framework serviert Modelle über eine OpenAI-kompatible Schnittstelle und lässt sich selbst hosten. Nach Angaben des Projekts läuft die Software auf über 400.000 GPUs und erzeugt täglich Billionen Token.

RadixAttention spart Rechenarbeit

Viele Anfragen an ein Sprachmodell beginnen mit demselben System-Prompt oder denselben Beispielen. SGLang erkennt solche gemeinsamen Präfixe, hält deren KV-Cache in einer Baumstruktur, dem sogenannten Radix-Baum, für weitere Anfragen bereit und verwendet die einmal berechneten Schlüssel-Wert-Paare über mehrere Aufrufe hinweg wieder, statt sie für jede neue Anfrage erneut zu berechnen. Der Effekt zählt vor allem bei Agenten-Ketten und wiederholten Kontexten. Gemeinsame Beispiele im Prompt landen so nur einmal im Speicher. Das spart Rechenzeit auf der GPU. Nach Projektangaben erreicht SGLang mit diesem Verfahren einen bis zu fünffachen Durchsatz gegenüber älteren Systemen wie vLLM.

Skalierung über GPU-Cluster

Version 0.5.14 vom 26. Juni 2026 unterstützt das Modell DeepSeek-V4 auf GB300-Beschleunigern von Nvidia und erreicht dort nach Projektangaben den fünffachen Durchsatz bei gleicher Reaktionszeit. Für große Mixture-of-Experts-Modelle verteilt SGLang die Expertennetze über mehrere GPUs und gleicht die Last mit den Verfahren Waterfill und LPLB aus, damit die Rechenarbeit gleichmäßig auf allen Beschleunigern liegt und kein einzelner Knoten im Cluster zum Engpass des gesamten Dienstes wird. Die jüngste Version 0.5.16 vom 25.07.2026 sammelt 574 Änderungen von 169 Mitwirkenden. Das Tempo bleibt hoch.

Einsatz im Rechenzentrum

Große Betreiber setzen SGLang produktiv ein, darunter xAI, Nvidia, AMD, Google Cloud, Microsoft Azure und AWS. Das Projekt gehört zur dritten Runde der Open-Source-KI-Förderung von a16z. Die Sprache erzwingt gültiges JSON und feste Schemata direkt beim Dekodieren. Für den Einsatz im eigenen Rechenzentrum bringt SGLang eine strukturierte Abfragesprache mit, die feste Ausgabeformate und mehrstufige Agenten-Abläufe steuert, sodass ein Team komplexe Aufrufketten direkt im Server abbildet und nicht in einer zusätzlichen Schicht davor pflegt. Der Betreiber startet den Server als Container und spricht ihn über die HTTP-Schnittstelle an.

Fazit

SGLang hebt die Auslastung teurer GPU-Cluster und senkt die Kosten je Token bei der LLM-Inferenz. RadixAttention und die Verteilung der Expertennetze halten den Durchsatz auch bei sehr großen Modellen hoch. Mit Version 0.5.16 vom Juli 2026 zeigt das Projekt ein hohes Entwicklungstempo und eine breite Unterstützung aktueller Hardware.

(ID:50916611)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu RZ- und Server-Technik

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte