Verloren im Labyrinth der IT-Begriffe? Hier finden Sie Definitionen und Basiswissen zu Rechenzentrums-IT und -Infrastruktur.

Automatische Sprachproduktionssysteme Was ist ein GPT-3-Modell?

Autor / Redakteur: M.A. Jürgen Höfling / Ulrike Ostler

Ob in Suchmaschinen, bei der Programmcode-Erstellung oder im Kundendienst-Chat: Sprachproduktionssysteme sind mittlerweile allgegenwärtig. Einer der leistungsfähigsten Algorithmen steckt derzeit in GPT-3.

Sprechblasen und mehr: Sprachproduktionssysteme wie GPT-3 reden mittlerweile ganz natürlich daher.
Sprechblasen und mehr: Sprachproduktionssysteme wie GPT-3 reden mittlerweile ganz natürlich daher.
(Bild: von Gerd Altmann auf Pixabay)

Wenn Sie eine E-Mail-Betreffszeile suchen, die eine hohe Öffnungsklickrate garantiert, einen fähigen Code-Generator auf der Basis von eine paar schnellen Angaben benötigen; wenn Sie auf der Basis einer schnellen Skizze wissen wollen, was Ihre Datacenter-Infrastruktur leisten könnte oder wenn Sie als Datacenter-Insider-Redakteur einen Artikel zum Thema xy schreiben wollen, dann sollten Sie sich mit dem Sprachproduktionssystem Generative Pre-trained Transformer 3 (GPT-3) beschäftigen, einer Art Heinzelmännchen für alles Textliche, Formel- und Zeichenhafte.

75 Milliarden „Stellschrauben“

GPT-3 ist ein Algorithmus zur Erzeugung natürlich sprachlicher Strukturen (Sätze, Paragrafen, ganze Artikel oder womöglich auch ganzer Romane). Er setzt auf 175 Milliarden syntaktisch-semantischen Funktionselementen (Parametern) sowie einem gigantischen textuellen und grafischen Corpus auf, das aus Internet-Quellen stammt. Allein das öffentlich verfügbare Teil-Corpus „Common Crawl“, das jeden Monat aufs Neue das gesamte Internet durchforstet und Texte, Textphrasen und Begriffe archiviert, verfügt über einen Fundus im Petabyte-Bereich und trägt mit mehr als 50 Prozent zu dem von GPT-3 benutzten Corpus bei.

GPT-3, das seit 2020 im Einsatz ist, erzeugt täglich durchschnittlich rund 4,5 Millionen Texte und wird von Hunderten von Apps genutzt. Es ist ein Produkt der KI-Firma OpenAI, einst – wie der Name andeutet – als OpenSource-Unternehmen gegründet, mittlerweile aber fest in den Händen von Microsoft, das allein Zugriff auf den Quellcode hat.

Microsoft verfügt daneben mit dem „Turing Natural Language Generator“ (T-NLG) über ein weiteres Sprachproduktionssystem, das derzeit mit 17 Milliarden „Stellschrauben“ (Parametern) arbeitet. Offenbar hat aber GPT-3 einige Vorteile gegenüber T-NLG, sonst wäre die Windows-Company nicht eingestiegen.

Stochastische Semantik

Auf das System kann nur noch über eine kostenpflichtige API zugegriffen werden. (Bei den Vorgängerversionen war das noch anders).

Über die Schnittstelle erhält man auch eine Schalttafel, mit der Länge, Vielfalt, Eigenwilligkeit und weitere Parameter der „Text-Temperatur“ gesteuert werden können. Das System ist im Prinzip mit beliebigen Sprachen nutzbar.

Über die API-Schnittstelle lassen sich mit der Maschine Dialoge führen, die mehr oder weniger gelungen sind. Im Internet sind Beispiele nachzulesen, die Bewertung ist dort oft nicht fachmännisch, deshalb verzichten wir hier auf explizite Verweise.

So liest man zuweilen, dass das System ja nicht eigentlich „verstehe“, sondern bloß ein stochastisches Textverständnis habe. Da geht es dann schnell ins philosophische Eingemachte, auf das der Autor hier nicht eingehen will.

Unstrittig sollte allerdings sein, dass ein Großteil aller menschlichen Kommunikation sich in einer Art stochastischen Semantik bewegt. Das soll heißen: Verstehen ist (fast) immer nur eine Annäherung. Und in diesem Spiel der Näherungswerte mischen die GFT-3-generierten Texte nach Einschätzung des Autors sehr gut mit.

Ganz natürlich: KI-Modell mit Vorurteilen

Tatsächlich resultieren die (erstaunlichen) Fähigkeiten von GFT-3 auf Deep-Learning-Prozessen, in denen die Textmengen vollständig automatisch, nach stochastischen Kriterien etikettiert und klassifiziert werden. Aufgrund dieser empirischen Methoden und den dabei verwendeten Textcorpora aus dem Internet fließen natürlich auch sämtliche Voreinstellungen, Täuschungsversuche, Fake News und Verschwörungsmythen etc. in die Vorstellungswelt von GFT-3 ein.

Deshalb wird mit Recht immer wieder betont, dass die von GPT-3 erzeugten Texte nicht selten mit Falschinformationen oder Vorurteilen gespickt seien. Oft wird eine Kuratierung, also eine qualitative Bewertung der verwendeten Textmengen angemahnt. Der Autor will dem nicht unbedingt widersprechen, gibt nur zu bedenken, dass Falschinformationen, schiefe Formulierungen und verschwurbelte Argumente auch in natürlichen menschlichen Texten gang und gäbe sind.

Menschliches Wissen als „Common Crawl“

Menschliches Wissen basiert letztlich auf großen Mengen von Analysen und Erkenntnissen vorangegangener Generationen und Personen. Im Grund müsste man bei jedem noch so kleinen Text ständig Verweise auf Texte und Personen machen, die Beiträge zu diesem Text geleistet haben. Dass man diese Verweise nicht macht, liegt schlicht daran, dass eine solche Verweistechnik nicht handhabbar wäre und letztlich auch uninteressant. Denn irgendwie ist Weltwissen „Hersteller-unabhängig“, anonym, sozusagen „Common Crawl“.

Nur wenn die Übernahme fremden Vorwissen eindeutig zuordenbar ist, setzt man einen Verweis. Nicht wenige „vergessen“ auch diese. Die Folge sind die heute verstärkt grassierenden Plagiat-Entdeckungen, die nicht zuletzt durch Sprachanalyse-Systeme (die nota bene viel weniger können müssen als GPT-3)überhaupt erst nachweisbar werden.

Richtige Text-Temperatur einstellen

Auch das vorliegende Erklärstück zu DeepLearning in der Verarbeitung natürlicher Sprache im Allgemeinen und GPT-3 im Besonderen hat viele „Mütter und Väter“, denen hier summarisch und herzlich gedankt sei.

Das vorliegende Erklärstück ist bewusst sehr wertend („meinungsstark“ könnte man auch sagen) geschrieben. Der Autor macht sich aber keine Illusionen darüber, dass auch ein solcher sehr persönlich gehaltener Text schon heute von einem Sprachproduktionssystem wie GPT-3 geschrieben werden könnte. Man muss nur an der Schalttafel die richtige „Text-Temperatur“ einstellen.

(ID:47811563)