Streaming-Intelligenz im Echtzeitmodus Confluent erweitert Flink Cloud um KI- und ML-Funktionen

Anbieter zum Thema

Confluent Germany GmbH

Vertiv GmbH

DAXTEN GmbH

DeRZ - Deutsche Rechenzentren GmbH

Mit neuen Funktionen für „Apache Flink“ in der „Confluent Cloud“ will das Unternehmen die Entwicklung KI-gestützter Echtzeitanwendungen erleichtern. Die Updates sollen insbesondere die Integration von ML-Modellen und Vektordatenbanken vereinfachen – ohne zusätzliche Infrastruktur.

In der Diskussion um die praktische Umsetzung von Künstlicher Intelligenz in Unternehmen dominiert derzeit ein Schlagwort: Echtzeit. Wer mit großen Sprachmodellen arbeitet, benötigt aktuelle, kontextbezogene Daten – am besten in dem Moment, in dem sie entstehen. Confluent, Anbieter einer Streaming-Plattform rund um „Apache Kafka“, will diesen Anspruch mit neuen Funktionen für Apache Flink in der Confluent Cloud adressieren. Die Erweiterungen sollen KI-Workflows entkoppeln, vereinfachen und vor allem zentralisieren.

Inferenz im Datenstrom

Ein Kernstück der Neuerungen ist die Funktion „Flink Native Inference“. Sie ermögliche es Entwicklern, KI-Modelle direkt innerhalb von Flink-Pipelines in der Confluent Cloud auszuführen – ohne separate Infrastruktur oder zusätzliche Tools. Das Ziel sei es, fragmentierte Prozesse zu konsolidieren und die Entwicklungskosten zu senken. Gleichzeitig verbleiben die Daten für die Inferenz vollständig innerhalb der Plattform, was insbesondere mit Blick auf Datenschutz- und Sicherheitsanforderungen relevant sein dürfte.

Bisher mussten Entwickler in der Regel zwischen Datenverarbeitung, Modelltraining und -inferenz pendeln – häufig über unterschiedliche Tools und Programmiersprachen hinweg. Dieser Wechsel sei nicht nur fehleranfällig, sondern auch teuer. Durch native Inferenzfunktionen könnten Unternehmen nun inferenzbasierte Entscheidungen – etwa im Kundenservice oder bei Anomalieerkennung – direkt in den Datenstrom einbetten.

Einheitlicher Zugriff auf Vektordaten

Parallel dazu stellt Confluent mit „Flink Search“ eine neue Schnittstelle für Vektorsuchen vor. Diese sollen für Large Language Models (LLMs) als Kontextlieferanten dienen – ein Ansatz, der unter dem Stichwort Retrieval-Augmented Generation (RAG) zunehmend an Bedeutung gewinnt.

Flink Search bündelt den Zugriff auf Vektordatenbanken wie „MongoDB“, „Elasticsearch“ und „Pinecone“. Damit entfällt laut Anbieter die Notwendigkeit für komplexe ETL-Prozesse oder manuelle Datenkonsolidierung. Gerade bei datengetriebenen Anwendungen sei das von Vorteil: Die Qualität der Antworten, die ein LLM generiert, hänge maßgeblich davon ab, wie gut es mit kontextuellen Informationen versorgt werde. Gleichzeitig reduziere eine solche Vereinheitlichung den Entwicklungsaufwand – zumindest in der Theorie.

ML für alle?

Besonders auffällig ist die dritte Säule des Updates: Integrierte ML-Funktionen in Flink SQL. Mit ihnen sollen auch Entwickler ohne Data-Science-Hintergrund klassische ML-Aufgaben wie Prognosen oder Anomalieerkennung umsetzen können – direkt innerhalb des SQL-Workflows.

Was nach Demokratisierung klingt, wirft jedoch Fragen auf: Reicht ein Low-Code-Zugang zu maschinellem Lernen aus, um belastbare Modelle zu entwickeln? Oder werden hier Werkzeuge in die Hände von Nutzern gelegt, denen das notwendige Verständnis für Datenqualität und Modellvalidierung fehlt?

Das Unternehmen betont, dass durch die Integration in eine bestehende Plattform die Einstiegshürde gesenkt werde. Ob das auch zu belastbaren Ergebnissen führt, dürfte von der konkreten Anwendung und der Erfahrung der Entwickler abhängen.

Der Markt verlangt Echtzeit

Die Richtung, die Confluent mit diesem Update einschlägt, deckt sich mit aktuellen Marktentwicklungen. Laut einer Studie von McKinsey planen 92 Prozent der Unternehmen, ihre Investitionen in KI in den kommenden drei Jahren zu steigern. Gleichzeitig steigt der Druck, KI nicht nur als Pilotprojekt, sondern als produktive Lösung einzusetzen – mit entsprechenden Anforderungen an Stabilität, Sicherheit und Skalierbarkeit.

Stewart Bond, Analyst bei IDC, sieht die Entwicklung als logischen Schritt: „Unternehmen müssen Datenverarbeitungs- und KI-Workflows vereinheitlichen, um genaue Vorhersagen und LLM-Antworten zu erhalten.“ Flink biete dafür laut Bond die nötige Infrastruktur, da es Inferenz und Vektorsuche in einer Plattform koordiniere.

Dass diese Funktionen zunächst nur im Rahmen eines Early-Access-Programms verfügbar sind, ist dabei kein Nachteil – sondern ein typischer Schritt für Cloud-Plattformen, die neue Funktionen unter realen Bedingungen testen wollen.

(ID:50367958)