Wie GenKI-Anwendungen von Data Streaming profitieren In 4 Schritten zu Event-getriebenen KI-Anwendungen

Anbieter zum Thema

Confluent Germany GmbH

VON ZUR MÜHLEN'SCHE GmbH

Kentix GmbH

STACKIT GmbH & Co. KG

Weltweit beschäftigen sich Unternehmen derzeit mit der Entwicklung von GenAI-fähigen Anwendungen und Tools. Eine wichtige Rolle spielt dabei die flexible Bereitstellung relevanter Daten, was in manchen Unternehmen ein Umdenken erforderlich macht.

Laut einer Studie von IDC wurden im Jahr 2023 weltweit insgesamt 15,9 Milliarden US-Dollar in generative KI investiert. In der Vergangenheit war der Mangel an Fachwissen, das für die Entwicklung und Schulung von KI-Modellen erforderlich ist, ein großes Hindernis. Heute gibt es wiederverwendbare und verallgemeinerbare Basismodelle wie Large Language Models (LLM), die den Umgang mit dieser Technologie leichter machen.

Dabei geht es nicht nur um die Entwicklung einer einzigen, GenAI-fähigen Anwendung. Für eine nachhaltige Umgestaltung eines Unternehmens werden oft Dutzende bis Hunderte von spezialisierten Anwendungen erarbeitet. Diese verwenden im Unternehmen oft dieselben Basismodelle, greifen aber auf unterschiedliche Datenquellen zurück.

Für moderne Unternehmen kann das eine Herausforderung darstellen. Ihre Daten werden nämlich in isolierten, heterogenen Betriebsdatenspeichern gelagert. Langfristig erfordert die Vermarktung von GenAI-Anwendungen ein gemeinsames Betriebsmodell und eine gemeinsame Plattform für die Datenintegration.

LLM-gesteuerte Anwendungen mit Event-Streaming entwickeln

Das Entwickeln von LLM-gesteuerten Anwendungen umfasst in der Regel vier Schritte: Datenerweiterung, Inferenz, Workflows und Post-Processing. Die Verwendung eines Event-getriebenen Ansatzes für jeden dieser Schritte vereinfacht die Entwicklung und den Betrieb. Sehen wir uns die vier Schritte im Detail an.

1. Datenerweiterung

Im ersten Schritt werden die Daten für die Kontextualisierung in LLM-Abfragen vorbereitet. Mit Hilfe von Konnektoren oder nativen Integrationen werden unstrukturierte Daten aus verschiedenen betrieblichen Datenquellen im gesamten Unternehmen gezogen. Anschließend werden unstrukturierte Dateneinbettungen in Vektordatenbanken organisiert, die dann zu einem Prompt verarbeitet werden können.

Mit Daten-Streaming erfolgt die Integration unterschiedlicher Betriebsdaten im gesamten Unternehmen in Echtzeit, damit sie zuverlässig und vertrauenswürdig genutzt werden können. Der Vorteil eines Event-getriebenen Ansatzes ist die Konsistenz der Änderungen in den operativen Datenspeichern mit den Staging-Informationen der Vektordatenbank. Prompts können so später in einer LLM-fähigen Anwendung kontextualisiert werden.

Fragile ETL-Pipelines (Extrahieren, Transformieren, Laden) enthalten möglicherweise Kaskaden von Batch-Operationen, wodurch LLM auf veraltete Daten reagiert. Vektordatenbanken hingegen sind ein dauerhafter Cache, der das Unternehmenswissen denormalisiert und die anspruchsvollen Anforderungen der Kunden erfüllt.

2. Inferenz

Der nächste Schritt besteht in der Inferenz. Dieser umfasst das Erarbeiten von Prompts mit aufbereiteten Daten aus den vorangegangenen Schritten und die Verarbeitung von Antworten aus dem LLM. Wenn ein Prompt von einem Nutzer kommt, kann die Anwendung relevanten Kontext aus der erweiterten Vektordatenbank oder einem ähnlichen Unternehmensdienst sammeln, um den bestmöglichen Prompt zu erzeugen.

Web-Anwendungen werden in der Regel von einem Full-Stack-Team erstellt, das sich vor allem mit dem Datenfluss in und aus dem objektrelationalen Mapping (ORM) und der Verwaltung von Sitzungen beschäftigt. Mit diesem Muster können Teams unabhängig von der Verbrauchergruppe arbeiten, die wiederum von einem auf die Entwicklung von KI-Anwendungen spezialisierten Back-end-Team übernommen werden könnten. Die Nutzergruppe erstellt bei der Vektordatenbank einen Prompt, der dann an den LLM-Service weitergeleitet wird.

LLM-Aufrufe wie bei ChatGPT können mitunter Sekunden beanspruchen, was bei verteilten Systemen eine Menge Zeit darstellt. Bei diesem Ansatz müssen Web-Application-Teams sich nicht um solche Probleme kümmern. Diese Prozesse werden als asynchrone Kommunikation behandelt, was eine effizientere Art ist, Teams unabhängig zu organisieren und zu skalieren.

Auf diese Weise lassen sich diese Anwendungen unabhängig voneinander bereitstellen und skalieren, weil sie in einzelne, spezialisierte Dienste statt in große Einheiten aufgeteilt sind. Dadurch kann die Markteinführung beschleunigt werden, da es sich bei neuen Inferenzschritten um Verbrauchergruppen handelt und die Organisation eine Infrastruktur für die schnelle Implementierung dieser Schritte vorgeben kann.

3. Workflows

Workflows sind ein gängiges Vorgehensmodell für die Erstellung GenAI-fähiger Anwendungen mit Hilfe von Reasoning Agents und Inferenzschritten. Ein Beispiel ist die Entwicklung einer Anwendung für Versicherungen, die Risiken einschätzen und bewerten soll.

GenAI-Modelle treffen normalerweise (noch) keine Entscheidungen zu Risiken. Stattdessen steuert das LLM eine Natural-Language-Schnittstelle, die eine Vorhersage auf Basis des gefahrenspezifischen Modellierungsrisikos durch ein traditionelles Modell ermöglicht. Die LLMs werden oft in Ketten von Aufrufen zerlegt, weil die LLMs nach dem aktuellen Stand der Technik so bessere Ergebnisse liefern. Mehrere einfache Fragen sind deshalb besser als größere komplizierte Fragen.

Wie zuvor können die Web Application Developer unabhängig voneinander arbeiten. Während die Full-Stack-Spezialisten weiterhin Webanwendungen erstellen, können die Entwicklerinnen und Entwickler von Backend-Systemen an Verbrauchergruppen arbeiten.

Letztere können wie ein relationales Datenbank-Verwaltungssystem mit Natural Language Search über operative Daten arbeiten, was über SQLBuilder und LangChain ermöglicht wird. Hierfür lassen sich Reasoning Agents einsetzen und Prompts auf der Grundlage der Vektordatenbanken kontextualisieren. Folgeaufrufe zum LLM sind in beliebiger Anzahl möglich und erleichtern die Beantwortung der von der Webanwendung gestellten Fragen.

4. Post-Processing

Bei GenAI können sogenannte Halluzinationen jederzeit auftreten. Deshalb liegt es an den Unternehmen, LLM-Ausgaben unabhängig zu validieren und die Geschäftslogik durchzusetzen, damit die Anwendung nicht kontraproduktiv ist.

Ein Event-getriebener Ansatz kann hier helfen, indem die Nachbearbeitung in einer entsprechenden Nachbearbeitungsgruppe vom Rest der Anwendung entkoppelt wird. Bei diesem Ansatz entwickeln sich LLM-Workflows und Abhängigkeiten wesentlich schneller als bei der für die Akzeptanz verantwortlichen Geschäftslogik.

Üblicherweise legt eine andere Unternehmensgruppe, z. B. ein Compliance-Team, diese Regeln fest und erstellt diese Anwendungen. Mit Event-getriebenen Microservices entfällt aber die unnötige Out-of-Band-Koordination, da jeder Microservice gut verwaltete Ereignisse produziert und verarbeitet.

Letztendlich beruhen GenAI-Anwendungen auf Daten. Für Unternehmen kann es eine Herausforderung sein, diese Anwendungen mit der Menge und Qualität an Datenmaterial zu versorgen, die für zuverlässige Ergebnisse erforderlich sind. An dieser Stelle hilft eine Daten-Streaming-Plattform. Sie erstellt und skaliert schnell datenintensive Echtzeitanwendungen, da sie auf kontinuierlich angereicherte, vertrauenswürdige und kontextualisierte Datenströme zugreifen kann.

Data-Streaming-Plattformen für GenAI-Anwendungen

Ein Hauptmerkmal von Streaming Data ist ihre Ortsunabhängigkeit. Unternehmen können Datenströme in Echtzeit dorthin leiten, wo sie benötigt werden. Insbesondere für KI-gestützte Anwendungen sind relevante Daten somit besser verfügbar und zugänglich. Der Ansatz ermöglicht Datenprodukte, die sinnvoll kontextualisiert, vertrauenswürdig und auffindbar sind. Das ist für GenAI-fähige Anwendungen entscheidend, damit Teams sicher und unabhängig an der Skalierung ihrer Anwendungen arbeiten können.

Eine Daten-Streaming-Plattform ermöglicht GenAI-Anwendungen die Versorgung mit gut formatierten und hochgradig kontrollierten Datenströmen in Echtzeit und fördert so die Wiederverwendbarkeit von Daten, die technische Flexibilität und größeres Vertrauen. Auf diese Weise können Unternehmen schneller für eine reaktive User Experience sorgen.

(ID:50026621)