CNCF Annual Survey: Die Infrastruktur der KI-Zukunft Cloud Native wird zum KI-Zuhause, aber die Infrastruktur ächzt

Anbieter zum Thema

DAXTEN GmbH

VON ZUR MÜHLEN'SCHE GmbH

EPS Rechenzentrum Infrastruktur GmbH

Nahezu jedes Unternehmen nutzt eine Form von Cloud-Native-Techniken und eine Mehrheit nutzt Container in der Produktion. KI-Inferenz betreiben 82 Prozent der Container-Nutzer auf Kubernetes, so eine CNCF-Erhebung. Selbst Skeptiker berufen sich nicht mehr auf technische Hürden. Popularität bedeutet zugleich eine immer kritischere Belastung für Open-Source-Infrastrukturen.

Cloud Native ist Standard und kein Innovationsmerkmal mehr. Zwei Drittel der Unternehmen nutzen Kubernetes für mindestens einen Teil ihrer generativen KI-Workloads, während 98 Prozent zumindest in irgendeiner Form Cloud-Native-Techniken einsetzen.

Insgesamt 628 Vertreter von Unternehmen verschiedener Größen aus diversen Branchen und Weltregionen wurden für den „Annual Cloud Native Survey: The infrastructure of AI’s future“ der Cloud Native Computing Foundation (CNCF) befragt. 56 Prozent der Befragten nutzten Container in Produktionsumgebungen, ein Viertel setzt gar bei nahezu allen Entwicklungs- und Bereitstellungsaufgaben auf Cloud Native – fünf Prozent mehr als 2023.

„Kubernetes ist ein Biest“, so die Cloud-Native-Experten Narang und Pathak

Für LLMs ist Kubernetes das perfekte Zuhause, man muss es nur einrichten

Der Bericht zeigt laut den Autoren Adrienn Lawson und Jeffrey Sica, dass Kubernetes sich damit zum Standard-Orchestrierungs-Tool nicht bloß für Container, sondern speziell für KI-Workloads entwickelt hat. Grundlage seien die steigende Reife von Projekten wie „Kubeflow“ für Machine-Learning-Workflows (ML) und „Kserve“ für die Modellbereitstellung; hinzu kämen neue Cloud-Native-Möglichkeiten für die effiziente Steuerung von Ressourcen und insbesondere einzelner GPUs.

Kubernetes hat sich zum KI-Orchestrator entwickelt

Während 23 Prozent der Befragten Kubernetes für sämtliche Inferenz-Workloads nutzen und so in CNCF-Augen „eine echte MLOps-Reife“ (Machine Learning Operations) erreicht hätten, betonen auch die Studienautoren, dass der Weg dorthin nicht leicht sei. Zu bewältigen seien Beschränkungen proprietärer ML-Plattformen, anzupasssende Betriebsabläufe und Weiterbildungen der Mitarbeiter, aber auch eine Reihe technischer Herausforderungen.

Dazu gehören laut Lawson und Sica „die Verwaltung großer Modellartefakte über Container-Registries oder Object Storage“, die Verteilung von Modellen auf Knoten mit passenden GPU-Ressourcen, „die Entwicklung verschiedener Muster für Trainingspipelines respektive latenzarme Serving-Szenarien sowie die Implementierung von speziellen Canary-Deployments und Rollback-Strategien für ML-Modelle“.

Cloud-Native-Skeptiker können sich nicht mehr auf technische Hürden berufen

Trotz der Fülle technischer Anforderungen sei Kubernetes-Adoption kein technisches Problem mehr für die meisten Unternehmen. Selbst die Minderheit der Skeptiker werde nicht mehr von technischen, sondern von kulturellen Hindernissen zurückgehalten. 47 Prozent der Befragten führten die Notwendigkeit „kultureller Anpassungen im Entwickler-Team“ unter ihren zehn größten Herausforderungen für den Containerisierungs-Einsatz an, gefolgt von mangelnden Fortbildungen (36 Prozent). 2023 belegten noch technische Bedenken über Sicherheit und Komplexität die ersten Ränge.

Die Charakterisierung „Kubernetes ist langweilig“ verstehen die CNCF-Autoren so als „höchsten Form des Lobs“ für Verlässlichkeit und Vorhersehbarkeit. Auch andere CNCF-Projekte können mit zunehmend hohen Adoptionsraten in Produktionsumgebungen glänzen, darunter das Paket- und Release-Management-Tool „Helm„ (81 Prozent), die verteilte Schlüssel-Wert-Datenbank „Etcd“ (81 Prozent), das Monitoring- und Alerting-System „Prometheus“ (77 Prozent), der DNS-Server für servicebasierte Namensauflösung „CoreDNS“ (76 Prozent) sowie die Container-Runtime „Containerd“ (74 Prozent).

Cloud Native for ever...

KI-Agenten und Observability waren die Top-Themen der CNCF-Konferenz

Semantik, Sicherheit, Skalierung und die Performance an der Edge

WebAssembly ist die stille Revolution der Cloud-Infrastruktur

Änderung am Linux-Kernel

30 Codezeilen schmelzen 30 Prozent des Datacenter-Strombedarfs ein

Dem plattformunabhängigen Ausführungsstandard „Web Assembly“ (Wasm) hingegen stehe ein vergleichbarer Durchbruch noch bevor. Fast zwei Drittel der Befragten hätten ihn nicht erst erprobt. Lawson und Sica zeigen sich dennoch von den Performance-, Sicherheits- und Portabilitätsvorteilen überzeugt: Wasm könne „für viele Workloads Container ersetzen“.

Die meisten Unternehmen sind KI-Verbraucher und an Inferenz-Optimierung interessiert

Der jährliche CNCF-Bericht zelebriert nicht nur Kubernetes als KI-Zuhause, sondern versteht sich auch als eine gute Dosis Realismus: die meisten KI-nutzenden Unternehmen sind Verbraucher, nicht KI-Entwickler und auch keine Anpasser. Weder die Entwicklung noch das Training von KI ist für 52 Prozent der befragten Nutzer generativer Modelle ein Thema.

Entsprechend nehmen 63 Prozent der Befragten neue Modelle einige Male im Jahr oder seltener in Betrieb. Der Anteil der Unternehmen, die täglich (etwa durch Anpassung mit neuen Daten) Modelle neu bereitstellen, ist mit 7 Prozent gering. Aus CNCF-Sicht werde die Prävalenz von KI-Verbrauchern erst einmal nicht verschwinden, sondern ist vielmehr ein Argument, Anforderungen an die Inferenz fertiger Modelle in den Vordergrund zu rücken.

MCP, Goose und Agents.md werden gemeinnützig betreut

Linux-Stiftung gründet Agentic AI Foundation

Optimierungsmöglichkeiten böten vor allem Techniken wie die Modellverkleinerung (Quantization), der Einsatz der schnellen „ONNX“ Runtime, das Batching von mehreren, sich überschneidenden Inferenz-Anfragen, eine dynamische Hoch- und Runterskalierung von Instanzen, aber auch eine ressourcenschonende CPU-basierte Inferenz.

Dies gelte insbesondere für die 25 Prozent der Unternehmen, die Modelle On-Premises betreiben, aber auch die 27 Prozent, die auf Public-Cloud-Ressourcen zurückgreifen. Für den steigenden Anteil der Unternehmen, die aus Latenz-Überlegungen Modelle dezentralisiert am Edge betreiben, gälten nochmal speziellere Anforderungen. Zugleich nutzen 37 Prozent der Unternehmen schlicht KI-Dienste über Endpunkt-APIs.

Laut den CNCF-Autoren reflektiere dieser Einsatz eine Priorisierung von Bereitstellungszeiten über Kontrolle; bei Inferenzvolumen über einer Million Anfragen monatlich sei aber ein Self-Hosting regulär kosteneffenzienter. Auch die API-Nutzer würden gleichwohl von Kubernetes-basierten Orchestrierungsschichten bei der Nutzung mehrerer Provider profitieren.

Kritische Belastung offener Infrastruktur durch KI

Insgesamt sei eine reifere und skalierbare Infrastruktur für die KI-Reife von Unternehmen entscheidender als die Modellauswahl. KI und ML böten eine „Infrastruktur-Herausforderung erster Klasse“. Auch Jonathan Bryce, Executive Director der Linux Foundation für Cloud and Infrastructure, positioniert so KI zum einen als „nächste große Cloud-Native-Workload“. Eine dringende Aufgabe für Entwickler und insbesondere für die Cloud-Native-Gemeinschaft sei es zum anderen, „die Komplexität bei der Bereitstellung von KI-Workloads drastisch zu reduzieren und zugleich die verfügbaren Inferenz-Kapazitäten quer durch die Branche massiv zu erhöhen“.

Dahinter stehe ein akutes Risiko nicht nur für das Cloud-Native, sondern auch das ganze Open-Source-Ökosystem. Die CNCF-Autoren verweisen auf einen im September 2025 veröffentlichten offenen Brief diverser Träger von Open-Source-Projekten mit der deutlichen Botschaft: „Offene Infrastruktur ist nicht kostenfrei“. Ihnen zufolge trage die maschinelle, oft verschwenderische automatisierte Nutzung“ von Open-Source-Infrastrukturen durch KI-Systeme entscheidend zu ihrer Fragilität bei. Kommerzielle Workloads, zumal beim KI-Einsatz, würden „regulär ohne Caching, Drosselung oder auch nur ein Bewusstsein für die verursachte Belastung betrieben werden“, so die Unterzeichner.

Cloud Native made in der EU

Was ist Neonephos und die Neonephos Foundation?

Auch aus CNCF-Sicht habe sich „die Tragfähigkeit der Open-Source-Infrastruktur zu einer existenziellen Sorge entwickelt“, da zunehmend „kritische Systeme“ überlastet würden, „welche Software zu entwickeln, zu testen, bereitzustellen und zu verteilen helfen“. Die Stiftung appelliert so an die Nutzer ihres Ökosystems, vorhandene Möglichkeiten für eine nachhaltige und Ressourcenschonenden Nutzung bewusst einzusetzen: „Der Zukunftsweg für KI erfordert einen infrastrukturfokussierten Ansatz. Das bedeutet, Caching-Strategien zu implementieren, Ressourcenkontingente zu nutzen, den Ressourcenverbrauch zu überwachen und zu den Open-Source-Projekten beizutragen, die KI-Workloads überhaupt erst ermöglichen“.

(ID:50690413)