Wenn Netflix weiß, was du gerade fühlst Generative KI nutzt emotionales Feedback

Generative KI kann Inhalte in Echtzeit auf der Grundlage von Gesichtsausdrücken erstellen. Wie das funktioniert und wie der Code dazu aussieht, verrät Datenmanagement-Spezialist Solita.

Wenn man sich nicht mehr aktiv für einen von 20 Filmen entscheiden muss, sondern der Fernseher einem die Präferenz gleichsam von den Augen abliest – dann steckt dahinter nicht zwingend Grusel-Science-Fiction. Vielmehr geht es hier um eine einfache Applikation, die Gesichtsausdrücke analysiert, um auf Basis emotionaler Reaktionen Inhalte in Echtzeit zu erstellen.

Der Anspruch: Eine Person liest eine Geschichte, die sich aufgrund der jeweiligen Reaktion spontan verändert. Hierfür verwendet die Anwendung – wer hätte es gedacht? – generative KI (GenAI). Um eine solche Applikation umzusetzen, nutzten wir bei Solita (seit Kurzem Microsoft Advanced Specialist für AI und Machine Learning) den Azure-KI-Stack.

Bilderfassung und Abruf von Gesichtsausdrücken

Um das Ziel zu erreichen, sind zunächst einige technische Schritte erforderlich. Ein Python-Skript (siehe Abbildung), das auf einem Edge-Gerät in der Azure-Cloud läuft, wird in einer Endlosschleife ausgeführt. Das Gerät nimmt ein Bild auf, ruft den „Azure Cognitive Services FaceAPI“-Endpunkt auf und schreibt die Antwort auf die Stimmung in einen Azure Blob Storage-Container.

Kontinuierliche Dateneingabe mit Azure Databricks und Spark Streaming

Für die weitere reibungslose Datenverarbeitung nutzen wir das Spark-Framework. Man stelle sich dafür nicht nur ein Gesicht vor, sondern 10.000 Personen an 10.000 verschiedenen Orten – macht 100 Millionen Stimmungen, die alle ein bis zwei Sekunden verarbeitet werden müssen.

Spark ermöglicht das parallele und verteilte Verarbeiten entsprechend großer Datenströme. Der folgende Code nimmt die Daten aus einem Cloud-Speicher auf und schreibt sie als Stream in eine Delta-Tabelle.

Zugriff auf Azure OpenAI LLM in einem Stream

Von dort übernimmt ein weiterer Stream. Er greift über die Chat Completion API (einen Teil der Azure OpenAI Suite) auf das Modell zu, verwendet das Sentiment und den Nachrichtenverlauf in der Eingabeaufforderung und schreibt die Antwort in eine nächste Deltatabelle. Ergebnis ist die auf dem Sentiment basierende generierte Story. Der Nachrichtenhistorie folgend, würde die Konversation so aussehen:

• Systemnachricht (für Kontext, Anweisungen oder andere Informationen, die für den Anwendungsfall relevant sind).

• Aufforderungsnachricht (vom User)

• Antwort (vom Assistenten)

• Aufforderungsnachricht (vom User)

• etc.

Die Nachrichtenliste wäre dann die Eingangsnachricht für das Modell. Die untenstehende Abbildung zeigt die anfängliche Nachrichtenliste. Sie wird im Verlauf der Story immer umfangreichen, da die Konversation an sie angehängt wird.

Im Folgenden erstellt man eine benutzerdefinierte Funktion, die die auf der Stimmung basierende Benutzernachricht zur Nachrichtenliste hinzufügt. Sie fordert das Modell zur Vervollständigung mit Hilfe der Nachrichtenliste auf, fügt die Antwort zur Nachrichtenliste hinzu und gibt sie zurück.

Die obige benutzerdefinierte Funktion verwendet eine Benutzernachricht als Eingabe. Wir erstellen nun eine benutzerdefinierte Funktion, die sie erzeugt. Die Funktion nimmt das Sentiment als Eingabe und erstellt die Benutzernachricht je nach Emotion.

An dieser Stelle nun kann der Stream starten und dem KI-Erzähler Leben einhauchen. Wir verwenden eine processBatch()-Funktion im Databricks Spark Structured Streaming, was mehrere Gründe hat: Sie eignet sich für die Stapelverarbeitung innerhalb einer Streaming-Anwendung. Führt man API-Aufrufe innerhalb einer Spark Structured Streaming-Anwendung durch, kann es Situationen geben, in denen es praktischer ist, einen Batch zu erstellen, bevor man den API-Aufruf durchführt. Gründe dafür sind API-Ratenbegrenzung und -Effizienz, Atomizität und Konsistenz.

Nun, da klar ist, wie die Daten durch die verschiedenen Komponenten fließen, können wir die Lösung entwerfen.

Learnings

LLM-basierte Anwendungen lassen sich recht einfach mit bereits vorhandenen Komponenten von Cloud-Anbietern erstellen. Der größte Aufwand besteht darin, sie benutzerfreundlich zu gestalten und das Modell hinter dem User Interface so aufzubauen, dass es wie erwartet funktioniert. Durch Feinabstimmung des LLM lässt sich dieses für den speziellen Anwendungsfall noch relevanter und effektiver zu machen.

Diese Anwendung kann in verschiedenen Aspekten des täglichen Lebens äußerst hilfreich sein – nicht nur für Einzelpersonen, die gerne maßgeschneiderte Geschichten lesen, sondern auch in Unternehmen oder in der Öffentlichkeit, z. B. bei der Erstellung von Reden, für die Entwicklung maßgeschneiderter Marketingkampagnen oder bei der Generierung von Witzen für einen Stand-up-Comedian – natürlich in Echtzeit und stimmungsangepasst. Die Latenzzeit der Anwendung von einem aufgenommenen Bild bis zur generierten Geschichte betrug etwa sechs bis sieben Sekunden, was als nahezu Echtzeit gelten darf.

Natürlich gab es auch einige technische Hürden. So waren die Verfolgung der Sitzung und Speicherung der vorherigen Antworten des Modells bei der Verarbeitung von Daten mit einem Spark-Stream etwas mühsam. Die globale Variable message_list konnte ihren Wert zwischen den Stapeln nicht beibehalten. Offenbar behalten globale Variablen bei Verwendung der Funktion processBatch() in Spark Structured Streaming ihre Werte zwischen den Stapeln nicht bei, da jeder Stapel unabhängig verarbeitet wird.

* Jens Jakobsson ist Data Scientist bei Solita.

(ID:49728231)