ML-Hilfsmittel und die Bauteile maschineller Intelligenz Machine-Learning-Frameworks und -Dienste

Der Megatrend KI/ML greift immer stärker – mit unzähligen Anwendungsfälle und gnadenloser Komplexität. Machen Machine-Learning-Frameworks es möglich, sich etwas offensiver an die Materie wohl erst einmal vorsichtig heranzuwagen?

Maschinelle Intelligenz soll cyberphysische Systeme dazu befähigen, in einer datengetriebenen Welt autark zu agieren. Die Umsetzung kognitiver Fähigkeiten in Softwarecode ruft ML-Frameworks auf den Plan. Sie sind erfolgsentscheidend, wenn es darum geht, ML-Modelle für die die Erkennung von Bild und Ton, die Interpretation von natürlicher Sprache, das Verständnis von Ursache-Wirkung-Zusammenhängen und dergleichen andere zu implementieren.

Vorgefertigte, wiederverwendbare Komponenten haben die Aufgabe, Entwicklerinnen und Entwicklern den Weg zu ebnen. Die Herausforderung besteht jetzt darin, die richtigen Bauteile für die avisierte Aufgabe zu wählen -- die Developer haben die Qual der Wahl.

Hugging Face Transformers und „Model Zoo“

Die quelloffene Bibliothek Transformers von Hugging Face hat in der Gemeinschaft der natürlichen Sprachverarbeitung (NLP) große Beliebtheit erlangt. Sie trumpft mit einer breiten Palette vortrainierter Modelle und ihren benutzerfreundlichen APIs zum Tokenisieren von Text und zum Erstellen von Vorhersagen. Die Bibliothek spezialisiert sich auf NLP-Aufgaben wie Textklassifikation, Erkennung benannter Entitäten, das Beantworten von Fragen in natürlicher Sprache, aber beschränkt sich nicht darauf.

Die Modelle sind mit riesigen Mengen an Textdaten vortrainiert und damit bereits relativ brauchbar. Sie lassen sich dann für spezifische nachgelagerte Aufgaben mit relativ geringen Mengen an gelabelten Daten optimieren (Stichwort: Feinabstimmung). Entwickler und Entwicklerinnen nutzen grundlegende ML-Frameworks wie PyTorch, TensorFlow und JAX, um mit Hilfe der leistungsstarken APIs die komplexen Prozesse der Modellbildung und des Trainings zu vereinfachen.

Um die Modelle von Hugging Face schnell in Softwareprojekte zu integrieren, können Developer zum Beispiel das Python-Paket transformers verwenden. Das Unternehmen hat eine wahre Goldgrube von ML-Ressourcen zusammengestellt. Mit einer Plattform namens Hugging Face Model Hub hat sich der Anbieter als einer der wichtigsten Akteure auf diesem Gebiet etabliert.

Der Hugging Face Model Hub, auch bekannt als „Model Zoo“, ist die zentrale Drehscheibe des Hugging-Face-Ökosystems. Er bietet Zugang zu über 350.000 Modellen, 75.000 Datensätzen und 150.000 Demo-Apps (Spaces), die alle quelloffen und frei verfügbar sind. Hier finden Entwickler/innen unter anderem beliebte Architekturen wie BERT, GPT-2, RoBERTa, T5 und andere.

Der Hugging Face Model Hub ist vergleichbar mit GitHub für KI, wo man mit anderen Machine-Learning-Enthusiasten und Experten zusammenarbeiten kann, um von der geballten Erfahrung der Gemeinde zu profitieren und eigene Beiträge beizusteuern, so dass man gemeinsam vorankommt.

Entwickler können hier vortrainierte Modelle herunterladen, um sie mit verschiedenen Bibliotheken oder der Inference API zu nutzen. Mit Hugging Face Transformers ist es außerdem möglich, eigene neuronale Netzwerkkomponenten und Modelle zu entwickeln, eigene Tokenizer und Trainingspipelines bereitzustellen und eigene Modell-Checkpoints zu hosten.

Bei den Checkpoints handelt es sich um ein allgemeines Konzept des Maschinellen Lernens, es ist nicht nur auf Hugging Face beschränkt. Checkpoints sind gespeicherte (Zwischen)zustände von Modellen, Optimierern, Zufallsgeneratoren und dergleichen anderem. Checkpoints enthalten die Parameter des Modells und möglicherweise andere relevante Informationen zu einem bestimmten Zeitpunkt der Training-Phase. In Checkpoints können Developer den Fortschritt sichern, um das Training zu einem späteren Zeitpunkt fortzusetzen oder die Resultate von Experimenten zu reproduzieren.

Bestimmte Funktionen innerhalb der Bibliothek Hugging Face Accelerate wie save_state() zum Speichern und load_state() zum Laden eines Zustands erleichtern diese Aufgaben. Auch andere ML-Plattformen und -Bibliotheken wie TensorFlow, PyTorch und Keras bieten ähnliche Mechanismen für das Speichern und Laden von Trainingszuständen. Hugging Face Transformers vereinfacht den Prozess der Feinabstimmung von Modellen unter anderem auch durch die Bereitstellung von Beispiel-Skripten und Hilfsprogrammen.

(ID:50064368)