Definition „Large Language Model“ Das LLM – Grundlage für generative KI

Anbieter zum Thema

EPS Rechenzentrum Infrastruktur GmbH

Ohne Large Language Models wären moderne KI-Anwendungen wie ChatGPT nicht denkbar. Sie erlauben es, natürliche Sprache zu verstehen und Antworten zu generieren. Die dafür benötigte Infrastruktur fällt bisweilen beträchtlich aus.

Was ist ein Large Language Model?

Ähnlich wie beim Machine Learning wird ein Large Language Model (LLM, z. Dt. großes Sprachmodell) auf eine bestimmte Aufgabe trainiert. In diesem Fall geht es um das Verständnis natürlicher Sprache, wie Menschen sie anwenden. Die dabei benötigten Datensätze fallen extrem umfangreich aus, was den Zusatz „Large“ erklärt. Dieser Umfang ist notwendig, damit die Modelle viele verschiedene Sprachtypen generieren können – von lexikonartiger, faktenbasierter Sprache bis zu Gedichten.

Was können Large Language Models?

Large Language Models zielen darauf ab, sprachliche Aufgaben zu bewältigen, die in ihrer Komplexität an das Niveau menschlicher Sprache herankommen. Diese Modelle verstehen somit Text, können Sprachen in andere Sprachen übersetzen, erstellen komplett neuen Text ohne vorherige Eingabe von Daten und vieles mehr. Auch typisch menschliche Interaktionen, wie Interviewsettings mit Frage-Antwort-Serien, kann Software aus Basis von Large Language Models absolvieren.

Damit Anwendungen diese Aufgaben bearbeiten können, ist vorher ein umfangreiches Training des Large Language Models notwendig.

Training von Large Language Models

Um das Modell mit Daten anzureichern, werden sehr große Textmengen genutzt, die das Modell anschließend „liest“ und verarbeitet. Diese Quellen beinhalten unter anderem Webseiten, Bücher, Chatverläufe, Lexika, Artikel auf News-Webseiten und vieles mehr. Durch das Training entwickeln die Modelle ein Verständnis für menschliche Sprache und können dieser entsprechend sinnvoll mit eigens generierten Antworten begegnen.

Menschen, die mit Software auf Basis dieser Technik interagieren, müssen sich nicht an bestimmte Satzkonstruktionen halten oder exakte Befehle eingeben. Stattdessen ist die Interaktion wie mit anderen Menschen möglich, sodass auch Umgangssprache erfasst wird. Komplexe Satzstrukturen werde korrekt erfasst und Zusammenhänge werden in der Regel richtig verstanden. Auch kontextbezogene Antworten sind dadurch möglich, was ebenfalls Unterhaltungen auf menschlicher Ebene entspricht.

Bereits jetzt kann es teilweise schwierig sein, eine Unterhaltung mit einer KI auf LLM-Basis von menschlichen Unterhaltungen zu unterscheiden. Dies wird in Zukunft, durch die stetige Verbesserung der Software und immer größeren Datenmengen, die zur Verfügung gestellt werden, immer schwieriger werden.

Anwendungsfälle für Large Language Models

Die Anwendungen, die LLMs verwenden, können sehr vielfältig sein. Beispiele beinhalten:

Virtuelle Assistenten wie Chatbots: Sie verstehen die Belange von Personen, die beispielsweise nach Kundensupport suchen. Sofern die Antwort einer Person im Datensatz des LLM enthalten ist, kann ein Chatbot eine wahrscheinlich ähnliche oder technisch sogar noch bessere Antwort liefern als ein menschlicher Mitarbeiter.

Automatische Texterstellung: Wäre dieser Text mit einer KI auf Grundlage eines starken LLMs erstellt worden, würden Leser den Unterschied wahrscheinlich nicht bemerken. Die automatische Textgenerierung kann die Erstellung von Inhalten deutlich vereinfachen bzw. beschleunigen, wenngleich sie in einigen Kontexten auch an Schwierigkeiten gebunden ist.

Übersetzung: Sprachmodelle können über 100 Sprachen fehlerfrei sprechen. Die Übersetzung von Text ist daher eine der natürlichen Stärken von Anwendungen, die durch entsprechende Sprachmodelle trainiert wurden.

Generell können Large Language Models in jedem Umfeld Nutzen bringen, in dem es auf die Interaktion mit natürlicher Sprache ankommt.

Limitierungen von Large Language Models

KI-Anwendungen, die Large Language Models verwenden, sind auf das Wissen innerhalb dieser Modelle beschränkt. Tritt heute beispielsweise ein Ereignis ein, kann ein Sprachmodell, das auf dem Stand der letzten Woche ist, nichts davon wissen. Entsprechende werden falsche Informationen ausgegeben.

Weiterhin kann Software, die Large Language Models verwendet, generell falsche Informationen ausgeben, wenn innerhalb des Datensatzes die falschen Verbindungen geknüpft werden. Auch können „Fakten“ erfunden werden, in der Fachsprache ist von Halluzinationen die Rede: Die KI gibt Informationen aus, die es in der Realität nie gegeben hat.

Dies stellt in bestimmten Feldern Anforderungen an die Nutzer von LLM-Anwendungen. Arbeiten für Schule, Universität oder generell im wissenschaftlichen Bereich sollten unter Vorbehalt mit Hilfe von LLM-KI absolviert werden. Quellen geben diese Modelle bislang nicht an, weshalb eine manuelle Prüfung notwendig ist. Auch kann kein vollständig neues Wissen generiert werden: Die Modelle sind auf das Wissen beschränkt, das bereits zur Verfügung steht.

Kosten für den Betrieb von Large Language Models

Die Bereitstellung der Infrastruktur für KI-Anwendungen auf der Grundlage von Large Language Models kann extrem teuer sein. Beispielsweise benötigt ChatGPT zwischen 700.000 und 1.000.000 US-Dollar pro Tag, um die rechen- und speicherintensiven Modelle bereitzustellen.

Es ist jedoch davon auszugehen, dass diese Kosten in Zukunft sinken werden. Wie es häufig der Fall ist, sind die Anfangstage einer neuen Technologie durch enorme Kosten gekennzeichnet. Langfristig sinken die Kosten, was den Betrieb wirtschaftlich tragbar macht und auch kleinere Organisationen daran teilnehmen lässt. Auch Open-Source-LLMs können darin eine Rolle spielen.

(ID:49451983)