Mobile-Menu

ML-Hilfsmittel und die Bauteile maschineller Intelligenz

Machine-Learning-Frameworks und -Dienste

< zurück

Seite: 3/3

Apache MXNet

Apache MXNet, ein weiteres leistungsfähiges ML-Framework mit Deep-Learning-Fähigkeiten, hat vor allem in der Forschung und Industrie eine große Beliebtheit erlangt. Es unterstützt sowohl imperatives als auch symbolisches Programmieren. Das Ziel besteht hierbei darin, die Einfachheit des imperativen Programmierstils mit den Optimierungen der symbolischen Ausführung zu verbinden.

HybridBlock, eine Schlüsselkomponente des Frameworks, ist eine Klasse für die Erstellung benutzerdefinierter Schichten oder Modelle, die sich wahlweise imperativ (dynamisch) oder symbolisch (statisch) ausführen lassen. Der Vorteil dieser Herangehensweise besteht darin, dass man während der Entwicklung und beim Debugging die intuitive und flexible imperativ-orientierte Programmierung nutzen und für die Produktion oder das intensive Training auf die symbolische Ausführung umschalten kann.

Beim ersten Durchlauf des Codes verhält sich HybridBlock imperativ. Jede Operation wird ähnlich wie z.B. in Python sofort ausgeführt und liefert sofort ein Ergebnis. Im imperativen Modus können Entwickler/innen auf bewährte Debugging-Tools von Python zurückgreifen.

Durch den Aufruf der Methode hybridize() auf einem HybridBlock wechselt das Framework von der imperativen zur symbolischen Ausführung. In diesem Modus erstellt das Framework einen Berechnungsgraphen des Blocks. MXNet kann den Graphen diversen Optimierungen unterziehen (z.B. wie Graph-Fusionen), eine bessere Speicherverwaltung anstreben, die Ausführung parallelisieren und eine bessere GPU-Auslastung gewährleisten.

Der Ansatz kann die Leistung während des Trainings oder der Inferenz erheblich verbessern und die Effizienz erhöhen. Der Übergang zwischen imperativer und symbolischer Ausführung ist nahtlos; die Konsistenz zwischen dem Entwicklungs- und dem Produktionsmodus ist durchgängig gewährleistet. MXNet verbindet eine hohe Skalierbarkeit mit einer breiten Sprachunterstützung (Python, Scala, R, Juli, etc.).

Die Verwendung von HybridBlock illustriert der folgende Code am Beispiel des benutzerdefinierten Blocks DevInsider, der spezifische Layer-Funktionalitäten implementiert:

from mxnet.gluon import HybridBlock, nnclass DevInsider(HybridBlock):
   def __init__(self, units, activation=None, **kwargs):
      super(DevInsider, self).__init__(**kwargs)
      with self.name_scope():
         self.units = units
         self.activation = activation
         self.dense = nn.Dense(units, activation=activation)   def hybrid_forward(self, F, x):
      return self.dense(x)# Erstellen des Modells
model = DevInsider(128, activation='relu')# Imperativ ausführen
model.initialize()
x = mx.nd.random.uniform(shape=(4, 20))
print(model(x))# Symbolisch ausführen
model.hybridize()
print(model(x))

Die Basisklasse Block innerhalb des Gluon-API von Apache MXNet stellt die grundlegende Baueinheit aller Netzwerke dar. Bei einem Block kann es sich um eine einzelne Schicht, eine Sammlung von Schichten oder eine vollständige Komponente eines neuronalen Netzes handeln (einschließlich komplexer Strukturen mit eigenen Parametern und Methoden).

Der Begriff „Layer“ bezieht sich hingegen auf auf eine einzelne Schicht innerhalb eines Netzwerks, zum Beispiel eine Dense-Schicht, eine Convolutionalschicht oder eine LSTM-Schicht, die eine Aufgabe Funktion innerhalb eines neuronalen Netzes erfüllt, indem sie spezifische Operationen an den Eingabedaten ausführt.

In dem Beispiel repräsentiert DevInsider eine benutzerdefinierte Implementierung eines HybridBlock, der durch die eingebettete Instanz von nn.Dense eine Schicht (oder „Layer“) implementiert. Obwohl DevInsider als ein Block definiert ist, fungiert er in seiner Nutzung als eine Schicht innerhalb eines Netzwerks. Dies liegt darin begründet, dass DevInsider spezifische Operationen (wie Lineare Transformation gefolgt von einer Aktivierung) ausführt, die eben typisch für Schichten in neuronalen Netzen sind.

DevInsider ist hier ein Block im Sinne von MXNets Hierarchie und Struktur. Gleichzeitig dient dieser Block als Layer in der funktionalen Architektur des neuronalen Netzes.

In dem Beispiel erfolgt als Erstes die imperative Ausführung des Layers DevInsider. Der Aufruf von hybridize() leitet die symbolische Ausführung ein. MXNet erstellt und kompiliert den Graphen. Dies steigert die Leistung bei der Ausführung des Modells und verringert den Speicherbedarf dank Optimierungen wie dem Zusammenfassen von Berechnungen und verbesserter Speicherverwaltung. Der symbolische Modus bietet sich für den Einsatz in einer Produktionsumgebung oder bei extrem großen Datensätzen nahezu an. Die Umschaltung ist nahtlos und frei von Kohärenzverlusten.

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu RZ- und Server-Technik

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Die Hybride Funktionalität stellt ein begehrtes Alleinstellungsmerkmal von MXNet dar. Trotz einiger Herausforderungen in Bezug auf die steile Lernkurve und die vergleichsweise geringe Größe der Gemeinde bewährt sich MXNet als eine starke Option für ernsthafte ML-Entwicklungsprojekte.

Fazit

Mit Bibliotheken wie Hugging Face Transformers und Plattformen wie TensorFlow hat das maschinelle Lernen seine Nische verlassen. Diese Tools demokratisieren die Entwicklung und Integration intelligenter Algorithmen und werden so zu Wegbereitern einer technologischen Revolution.

(ID:50064368)

Weiterführende Inhalte