Das „Rightsizing“ von KI-Arbeitslasten im Kubernetes-Umfeld Die Chip-agnostische Echtzeitoptimierung von Workloads mit Intel Granulate

Das verbrennt ordentlich Geld: Jede zweite Kubernetes-Bereitstellung ist massiv überprovisioniert. Leistungsoptimierung auf Anwendungsebene kann Abhilfe schaffen – im großen Maßstab. Darum gibt es die Software „Granulate“ - für alle CPU-Plattformen.

Beinahe neun von zehn KI/ML-Bereitstellungen bringen eh nichts, so Gartner. Auf KI/ML ganz verzichten ist trotzdem keine Option. Wie wäre es denn mit mehr Effizienz? Würde das helfen?

Bei massiv skalierbaren Kubernetes-Workloads käme da schnell was zusammen. Das Problem: Dem beliebten Container-Orchestrierer fehlen jegliche Stellschrauben für granulierte Optimierungen.

Intel hat es selbst zu spüren bekommen. Der Chip-Riese liegt derzeit bei der Bereitstellung von Rechenzentren hinter den großen Cloud-Anbietern zurück. Dennoch will man die steigende Nachfrage nach rechenintensiven Workloads wie KI souverän bewältigen und in Sachen Nachhaltigkeit nach wie vor Zeichen setzen.

Auf der Suche nach Möglichkeiten zur Effizienzoptimierung seiner Kubernetes-Arbeitslasten in den eigenen Rechenzentren stießen Intels Spezialist:innen auf eine wenig bekannte Lösung einer kleinen Softwareschmiede aus Tel Aviv namens Granulate. Für gerade einmal 650 Millionen Dollar konnte sich Intel die Anwendungsoptimierungsplattform mit rund 120 Mitarbeiter:innen ins Haus holen.

Feinabstimmung von Kubernetes

Die umständliche Handhabung von Kubernetes im eigenen Rechenzentrum bereitet vielen Unternehmen nach wie vor Probleme. Jede Optimierung der Leistung einer Bereitstellung will mühsam in Code implementiert werden.

Ein solches Vorhaben verschlingt bei einer einzigen Variable schon mal mehrere Monate; die Resultate bleiben meist hinter den Erwartungen zurück. Denn die Zeit bleibt nicht stehen. Ein Update der Kubernetes-Umgebung mit neuen Features oder Anforderungen und schon sind die Optimierungen hinfällig. So sind die Unternehmen gezwungen, auf statische Konfigurationen zurückzugreifen.

Die IT-Administratoren müssen die Lastanforderungen in diesem Szenario grob anpeilen und – mit Blick auf absehbare Spitzenanforderungen und unerwartete Ereignisse – großzügig überprovisionieren. Das geht ans Geld, ob im Datacenter oder in der Hybrid-Cloud.

Auch in Cloud-native-Anwendungen gibt es Leerlauf

So ist es auch kein Wunder, dass ein nicht unerheblicher Anteil der IT-Kapazitäten im Leerlauf „Däumchen dreht“ und dabei unnötig Energie „in die Pfeife raucht“ - ein Problem, das eigentlich in die alte Welt von dezidierter Hardware gehört aber auch in virtualisierten Umgebungen bekannt ist. Der größte beitragende Faktor hierfür sind der Mangel an Transparenz in Bezug auf den tatsächlichen Ressourcenverbrauch und das völlige Fehlen zuverlässiger Möglichkeiten der maschinellen Vorhersage des Ressourcenbedarfs.

Für granulare Optimierungen ihrer Kubernetes-Bereitstellung hat American Airlines eine Lösung von Intel, Granulate, übernommen. Heute singt die Fluglinie Loblieder. Der Tenor: Kosteneinsparungen zwischen 40 und 45 Prozent Prozent (wenn es hochkommt). Reduktion der Arbeitszeit um bis zu 30 Prozent. Ein Fünftel (20 Prozent) mehr Durchsatzleistung – und alles im Rahmen der SLAs.

Optimierungsalgorithmen bei der Arbeit

Intel Granulate ist eine Laufzeitoptimierungssoftware für Rechenzentren, Multicloud- und Hybrid-Cloud-Umgebungen mit einer einzigartigen Herangehensweise. Granulate setzt auf autonome Optimierungsalgorithmen, die kontinuierlich die spezifischen Merkmale jedes Kubernetes-Workloads im Rechenzentrum analysieren und die Ressourcenzuweisung optimieren, ohne dass der Kunde seinen Code ändern muss. Dank der verbesserten Anwendungsleistung sinkt die CPU-Auslastung und damit der Energieverbrauch.

Nach der Installation analysiert Granulate erst einmal die Muster der Ressourcennutzung der betreffenden Arbeitslasten und ihren Datenfluss und schafft damit zusätzliche Transparenz. Ausgestattet mit diesem Wissen können IT-Teams selbstbewusst ein optimales Niveau der Ressourcenzuweisung samt eines „Sicherheitspolsters“ festlegen (mit einer Überprovisionierung von gerade einmal 20 Prozent sind in den meisten Fällen alle Eventualitäten abgedeckt).

Die Bereitstellung passt sich dann dem wechselnden Bedarf selbsttätig an. Die fortlaufende Optimierung des Ressourcenzuweisung läuft KI-getrieben „auf Autopilot“ vor sich hin. Für Anwendungen im großen Maßstab kann dies zu enormen Kosteneinsparungen führen.

Durch die Nutzung dieser Intel-Lösung können Unternehmen potenziell den Fußabdruck ihrer Infrastruktur reduzieren, die Kosten des laufenden Betriebs senken, die Benutzererfahrung verbessern und die Gesamteffizienz steigern. Dies gilt insbesondere für komplexe Umgebungen wie Kubernetes mit KI/ML- oder Big-Data-lastigen Workloads.

Für „Spark“- und „Mapreduce“-Workloads finden Anpassungen in Echtzeit statt. Granulate ermöglicht so eine dynamische „Spark-Executor“-Zuweisung und „YARN“-Ressourcenallokation mit kontinuierlicher Optimierung auf Container-Ebene für die CPU und den Arbeitsspeicher.

Der Ansatz gilt nicht nur für Big Data Workloads, sondern auch für eine Vielzahl anderer Arbeitslasten, einschließlich unternehmenseigener Anwendungen in verschiedenen Programmiersprachen wie Java, Python, Scala, Go, Node, Kotlin und Clojure. Granulate fokussiert auf fünf kritische Bereiche von Big-Data-zentrischen Arbeitslasten:

• Eingabe-/Ausgabeoperationen (I/O): Optimierungen mit Blick auf die Latenzminimierung,

• Netzwerk: Kontrolle der Paketübertragung, Optimierung der Bandbreitennutzung und des Verbindungsaufbaus,

• Scheduling: CPU-Zeitplanung (Intel, AMD und andere), Priorisierung von Aufgaben und Vermeidung von Engpässen,

• Arbeitsspeicher: intelligente Speicherzuweisung, Vermeidung von Speicherlecks und Optimierung der Speicherzugriffe,

• Datenträger: Verwaltung von Lese- und Schreibvorgänge, Defragmentierung, Vermeidung von Überlastung.

Optimierungen auf Betriebssystemebene kommen noch mit dazu.

Bei American Airline und bei Intel selbst

Bei American Airlines verlief die Integration reibungslos, fast schon im „Plug-and-Play“-Verfahren. Vijay Premkumar, Senior Manager für Cloud-Innovation bei American Airlines, sagt auf der KubeCon 2024 in Paris: „Wir haben die Implementierung (testweise) vor etwa zwölf bis 14 Monaten begonnen.“ Heute liefe Granulate zu 100 Prozent in der Produktion.

Die Fluglinie habe in der Zwischenzeit insgesamt über 1.300 Cluster erfolgreich implementiert. Das Projekt sei, so schwärmt Premkumar, „eine fantastische Reise“ gewesen. Und der Erfolg sei unbestreitbar: „Wir verwenden 37 Prozent weniger IT-Ressourcen“, enthüllt Premkumar. Die Kosteneinsparungen in der Data Lake-Lösung der Airline haben sich immerhin bei etwa 23 Prozent eingependelt.

Die Intel-eigene IT-Abteilung hat mit Granulate die CPU-Auslastung auf „Cloudera“-Plattformen mit Apache Spark um 44 Prozent reduzieren können und die Speichernutzung um durchschnittlich 25 Prozent verringert. Diese Optimierungen schlagen sich in Kosteneinsparungen in der Bereitstellung der betreffenden Data-Lake-Anwendung in Höhe von 23 Prozent nieder.

Chips alleine helfen nicht

Markus Flierl, der Corporate Vize Präsident für Intels Developer Cloud, erläutert: „Wir haben derzeit hauptsächlich Rechenzentren in Nordamerika.” Intel suche derzeit aktiv nach Rechenzentrumsstandorten in Europa und der asiatisch-pazifischen Region. Da ein Bauvorhaben so um die drei Jahre in Anspruch nehme, sei Intel bei anderen „zur Miete“, enthüllte Flierl. Dieser Sachbestand mag Intels Interesse an der kontinuierlichen Anwendungsoptimierung begründen, doch hinter der Übernahme von Granulate steckt noch mehr dahinter.

Die Nvidia-Vorherrschaft im Markt für KI-Lösungen hat das Potenzial, die Technologieführerschaft von Intel im Rechenzentrum weiter zu marginalisieren. Offenbar hat man in Santa Clara erkannt, dass das Rennen nicht dadurch gewonnen ist, dass man bloß die „besseren“ Chips liefert. Es kommt vielmehr darauf an, die Nutzer dem eigenen Ökosystem ganzheitlich zu unterstützen.

Mit Intel Granulate und dem KI-Beschleuniger „Intel Gaudi 3“ (Gaudi: süddeutsch für: „Spaß“ oder „Vergnügen“) sowie dem offenen Ultra Ethernet möchte Intel eine Alternative zu dem proprietärem KI-Ansatz von Nvidia schaffen. Insbesondere die proprietäre NVLink-Konnektivität des GPU-Tycoons stößt bei den Anwendern auf Widerstand. Intel will sich von der offenen Seite zeigen – auch mit Granulate.

Intels KI-Vision ist klar: Ein umfassendes KI-Strategiepaket, das auf offenen, skalierbaren Technologien aufsetzt und alle Marktsegmente abdeckt, hat für Unternehmen erhebliche Vorteile gegenüber dem „Fangnetz“ eines geschlossenen Ökosystems wie jenes von Nvidia. So wirft Intel mit Granulate ein größeres Netz au; mit dem Anfang April vorgestellten KI-Beschleuniger „Gaudi 3“ legt er einen dickeren Köder.

Intel Vision 2024: Schnellerer KI-Beschleuniger und Xeon-6-Prozessoren

Konkurrenz für Nvidia: Intel stellt KI-Chip Gaudi 3 vor

Intel Gaudi 3 verspricht eine durchschnittlich um 50 Prozent bessere Inferenzleistung und eine um 40 Prozent bessere Energie-Effizienz als die Nvidia-GPU „H100“. Zudem lässt sich die Intel-Technik vom Node bis zum Mega-Cluster mit offenen Technologien skalieren – und das zu einem Bruchteil der Kosten.

Intels OEM-Partnerschaften mit Dell Technologies, Hewlett Packard Enterprise, Lenovo und Supermicro sollen das Angebot allgemein zugänglicher machen.

Darüber hinaus hat Intel die Absicht angekündigt, gemeinsam mit SAP, Red Hat, VMware und anderen Branchenführern eine offene Plattform für unternehmensweite KI auf der Basis von RAG zu schaffen, um die Bereitstellung sicherer generativer KI-Systeme zu erleichtern. (Bei RAG, kurz für Retrieval-Augmented Generation, handelt es sich um einen Ansatz der Optimierung der Ausgabe eines großen Sprachmodells unter Einbezug einer autoritativen Wissensbasis außerhalb seiner Trainingsdaten.)

Im Rahmen des Ultra Ethernet Consortiums (UEC) forciert Intel offene Ethernet-Netzwerke für die „KI-Fabriken“ von morgen. Eine breite Palette von KI-optimierten Ethernet-Anwendungen, einschließlich der AI-NIC (KI-getriebener Netzwerkschnittstellen) und KI-Verbindungs-Chiplets, soll Rechenzentrumsbetreiber „bei der Stange halten“.Die Entschlossenheit aus dem Hause Intel, die Zukunft von KI-Infrastrukturen offener zu gestalten, reflektiert sich in der Entscheidung, Granulate Chipanbieter-agnostisch auszulegen.

So macht man sich Freunde

Granulate will jede CPU abdecken, solange sie die unterstützten Laufzeitumgebungen auf Linux-Maschinen verwenden (beliebige Linux-Distributionen). Denn die Lösung muss tief in den Systemkern eingreifen, was ja mit einem proprietären Betriebssystem nicht so ohne weiteres möglich ist (es sei denn, man schreibt es selbst).

Granulate nimmt keine Änderungen auf Kernel-Ebene und Betriebssystem-Ebene vor. Es optimiert ausschließlich die Laufzeit- und die Anwendungsebene. Code-Änderungen sind nicht erforderlich.

Im Vergleich zu manuellen Kubernetes-Optimierungen ist die Integration von Granulate dank dieser Offenheit ein Kinderspiel. Die Anwendung hat sich bei Intel selbst binnen weniger Tage bewähren können.

Im Rahmen eines gerade einmal vierwöchigen Pilotprojets (Proof of Concept) konnte Intel die „vCore“-Nutzung um 23 Prozent verbessern und den Datendurchsatz um 17 Prozent steigern. Der aktive Granulate-Agent lief in dem Test in einer Produktions- und Qualitätssicherungsumgebung auf der Plattform „Databricks“.

Insight Enterprises konnte ebenfalls in kürzester Zeit eine Kostenreduktion der Databricks-Bereitstellung in Höhe von 28 Prozent realisieren.

Erfolgsgeschichten

Granulate kann anscheinend nicht nur den Energieverbrauch, sondern nebenbei auch die Hardwareanforderungen „kubernetisierter“ Arbeitslasten senken. „Nach der Implementierung von Granulate haben wir festgestellt, dass unser Bedarf an Arbeitsspeicher um 50 Prozent und die CPU-Auslastung um 20 Prozent fiel“, bestätigt Uri Harduf, DevOps Group Manager bei der Cyber-Sicherheitsspezialistin Claroty. Daraus ergab sich eine Kostenreduktion in Höhe von immerhin 18 Prozent.

So macht man sich Freunde: Granulate unterstützt beliebige Linux-Distributionen, gängige Arbeits- und Workload-Umgebungen und diverse Provisionierungsdienste von reinem Kubernetes über „Terraform“, „Ansible“, „Puppet“, „Chef“ bis eben hin zu Databricks, „Helm“ und „Cloud Formation“. Die Software entspricht zudem auch noch den höchsten Sicherheitsstandards mit Zertifizierungen nach SOC2, ISO, HIPAA und DSGVO.

Auf quelloffenem Mist gewachsen

Unter der Haube macht sich Granulate ausgiebig Open-Source-Technologien zu Nutze. Im Kern setzt die Lösung auf das Ökosystem der Apache Software Foundation. Sie integriert Komponenten wie „Apache Kafka“ für als zentrale Komponente für die Erfassung und Weiterleitung von Datenströmen und Apache Spark für die verteilte Datenverarbeitung. Kafka ermöglicht eine nahtlose Kommunikation zwischen verschiedenen Stufen der Datenpipeline. Spark wiederum stärkt Intel Granulate mit seinem robusten Rechenmotor bei der parallelen Verarbeitung und Analyse großer Datensätze.

Darüber hinaus macht Granulate umfangreichen Gebrauch von Open-Source-Technologien wie „Apache Hadoop“ und „Apache HBase“ zur Speicherung und Verwaltung von strukturierten und unstrukturierten Daten. Hadoops verteiltes Dateisystem, „HDFS“, dient als Grundlage für die Speicherung und Abfrage von Daten und gewährleistet Ausfallsicherheit und Skalierbarkeit. HBase ergänzt dies durch die Bereitstellung einer verteilten, skalierbaren und konsistenten Datenbanklösung, die für Echtzeit-Lese- und Schreibvorgänge optimiert ist.

Zusätzlich nutzt Intel Granulate Open-Source-Überwachungs- und Observabilitäts-Tools wie „Prometheus“ und „Grafana“, um Einblicke in die Systemleistung und Ressourcennutzung zu gewinnen. Prometheus sammelt Metriken und stellt sie über eine flexible Abfragesprache zur Verfügung, während Grafana Visualisierungs- und Dashboard-Funktionen bietet, mit denen Benutzer die betreffenden Systemmetriken in Echtzeit überwachen und analysieren können.

Inzwischen hat Intel einige Tools wie den „Continuous Profiler“ von Intel Granulate als Open Source veröffentlicht.

(ID:50002697)