Höhere Effizienz,Transparenz und Sicherheit, weniger Kosten Red Hat AI 4.3 soll Agenten fit für den Produktionsbetrieb machen

Anbieter zum Thema

Red Hat GmbH

DAXTEN GmbH

Fujitsu Technology Solutions GmbH

Data Center Group – Büro Köln

„Red Hat AI Enterprise“ soll mit der Version 4.3 autonome KI-Agenten in Produktionsumgebungen effizienter und sicherer skalieren, verwalten und überprüfen können als bisher. Optimiert wird die Hardware-Unterstützung und -Auslastung. Neue Evaluations- und Observability-Werkzeuge sowie automatisierte Red-Team-Tests kommen hinzu.

Im Rahmen des „Red Hat Summit 2026“ in Atlanta, Georgia, stellt das Unternehmen eine Vielzahl von Neuerungen für die KI-Plattform „Red Hat AI Enterprise“ vor. Mit der Version 3.4 soll vor allem der sichere, nachvollziehbare und effiziente Einsatz von KI-Agenten in Produktionsumgebungen ermöglicht werden.

Performance- und Flexibilitätsverbesserungen

Da das autonome Handeln einer Vielzahl von Agenten einen nochmals gesteigerten Ressourcenbedarf im Vergleich zum manuellen Einsatz generativer KI bedeute, habe sich Red Hat auf die Optimierung der Hardwareauslastung und ihre flexible Nutzung konzentriert. Dafür baut Red Hat die Integration des Open-Source-Projekts „llm-d“ in die KI-Plattform aus. Llm-d wird von Red Hat gemeinsam mit anderen Tech-Unternehmen in der CNCF-Sandbox (Cloud Native Computing Foundation) entwickelt und sorgt für eine effizientere Hardware-Auslastung auf Kubernetes.

Software für verteilte KI-Inferenz

Red Hat AI 3 für KI-Workloads im produktiven Einsatz

Mit dem neuen Release von Red Hat AI wird nun auch Batch-Inferenz unterstützt. Damit können große Mengen nicht-zeitkritischer Anfragen zusammengefasst und asynchron über eine OpenAI-kompatible API verarbeitet werden, um die GPU-Auslastung zu maximieren. Zudem wird llm-d nun Latenz-kritische Anfragen von Hintergrund-Traffic unterscheiden und priorisieren können.

Eine Kostenersparnis von bis zu 19 Prozent bei bestimmten Modellen soll die Einführung von Speculative Decoding auf Basis der Inferenz-Engine „vLLM“ bieten. Bei diesem Verfahren erzeugt ein kleineres, schnelleres Draft-Modell mehrere Token-Kandidaten im Voraus, die das eigentliche Zielmodell anschließend verifiziert.

Model-as-a-Service mit granularen Einstellungen

Ebenfalls mit Hilfe von vLLM wird zudem die Auswahl nutzbarer Hardware erweitert. Red Hat AI unterstützt so nun (teils in einer Vorschau-Phase) die GPUs „AMD Instinct MI355X“ und „MI350P“ PCIe, „AMD Epyc“- und „Intel-Xeon“-CPUs sowie den Inferenzbeschleuniger (NPU) „Atom“ des südkoreanischen Chip-Startups Rebellions. Neu in Red Hat AI 3.4 ist zudem die Möglichkeit, verschiedene Gateways für verschiedene Nutzergruppen mit bestimmten Ressourcenzuweisungen festzulegen.

„Kubernetes ist ein Biest“, so die Cloud-Native-Experten Narang und Pathak

Für LLMs ist Kubernetes das perfekte Zuhause, man muss es nur einrichten

Damit will Red Hat das mit der Version 3.0 eingeführte Konzept von Modellen als Dienstleistung (Model-as-a-Service) erweitern. Konkret wird in Red Hat AI 3.4 ein Webinterface für Plattform-Ingenieure aus einer Betaphase in die allgemeine Verfügbarkeit überführt, das die granulare Einstellung der Token-Nutzung, der Sicherheitskonfigurationen und der Nutzerrollen für Modelle on-premises (allgemein verfügbar) und in der Cloud (technische Vorschau) erlaubt. Als technische Vorschau ist zudem die Nachverfolgung der Modell- und Ressourcenauslastung durch Nutzer verfügbar (Tracking/Showback). Eine voreingestellte Instanz des Monitoring-Systems Prometheus überwacht dabei die Hardware-Auslastung.

Integrierte Tools

Andere Neuerungen zielen auf die Integration heterogener Tools und Aufgaben. Die Tools „AutoRAG“ (Retrieval-augmented Generation) und „AutoML“ (Machine Learning) sollen die passenden Modelle, Strategien und Aufgaben für verschiedene Datensätze eigenständig auswählen. Ein neuer „Eval Hub“ soll eine einheitliche Steuerungsebene für verschiedene Evaluierungsaufgaben bieten, sodass Teams nicht einzelne Tools für die Einschätzung von Qualität, Genauigkeit oder Risiken einsetzen müssen.

Erfolg-as-a-Service

SaaS ist tot. Es leben die Agenten!

Der 6-Prozent-Irrtum

Das Ende von SaaS ist mindestens ein mathematischer Fehler

Die Integration der Machine-Learning-Plattform „Mlflow“ ermöglicht in Red Hat AI 3.4 die Protokollierung aller Trainings- und Tuning-Durchläufe und die Versionierung einzelner Prompts mit Parametern, Metriken und Artefakten, so dass Teams Modellversionen reproduzierbar vergleichen können. Insbesondere nachverfolgt werden sollen auch sämtliche Schritte eines KI-Agenten wie Modell-Aufrufe, die Tools-Nutzung und die Denkketten.

Auf Basis von Mlflow entsteht zudem ein zentraler „AI studio playground“, wo einzelne Prompts in Kombination mit verschiedenen Modellen (einem Code-Repository ähnlich) getestet und verbessert werden können. Die zentrale Speicherung von Prompts soll die Nachvollziehbarkeit des KI-Verhaltens fördern.

Funktionen für Transparenz und Agentenkontrolle

Neben der Nachverfolgung über Mlflow soll eine Reihe weiterer Neuerungen einen sicheren und nachvollziehbaren Einsatz von KI-Agenten sicherstellen. Die Einbindung der Open-Source-Projekte „Spiffe“ und „Spire“ ermöglicht kryptografische Identitäten für KI-Agenten, und zwar über kurzlebige und rotierende Ausweis-Tokens statt langlebiger Schlüssel. Ein weiteres Open-Source-Tool, der Scanner „Garak“, wird mit Automatisierten Red-Team-Tests Agenten und Modelle auf Schwachstellen gegenüber Prompt Injections und Jailbreaks sowie auf Voreingenommenheit (bias) prüfen.

Das Kubernetes-Tool Kagenti ist in Red Hat AI 3.4 für die Lebenszyklusverwaltung von KI-Agenten zuständig. Gewährleisten soll es vor allem das Deployment in Produktionsumgebungen, die Skalierung und Verwaltung von Agenten, ohne ihren Code ändern zu müssen.

MCP: Server-Katalog, Authetifizierungs-Gateway und Kubernetes-Operator

Schließlich vertieft Red Hat mit der neuen Version seiner KI-Plattform die Integration des Model Context Protocol (MCP), eines offenen Standards für die Interaktion von KI-Modellen und Agenten mit Informationsquellen und Tools. Ein MCP-Katalog wird Teams eine Auswahl von Red Hat und Partnern bereitgestellter Server bieten, welche über einen MCP-Operator als Kubernetes-native Workloads betrieben werden können.

Ein MCP-Gateway übernimmt zwischen agentischer KI und MCP-Servern die Authentifizierung und Kontrolle der Tool-Nutzung durch Agenten. Der Katalog und Operator werden als frühe Developer Previews, das Gateway als reifere, aber noch nicht produktionsbereite Tech Preview veröffentlicht.

Agenten treffen Container

Ein Red-Hat-Betriebssystem für KI-Agenten

Auf Nachfrage erklärt Joe Fernandes, Red Hat-Vize und General Manager für AI Business, dass sämtliche Tools Teil des Abonnementmodells von Red Hat AI sein werden, keine separaten Nutzungsgebühren anfallen und es keine Beschränkung des Nutzungsvolumens geben soll. Das Update soll im Laufe des Mai 2026 erscheinen. Die Plattform soll „bald“ auch über die Marketplaces von AWS, Microsoft Azure und Google Cloud verfügbar sein.

(ID:50846342)