TensorFlow

TensorFlow ist ein quelloffenes ML-Framework von Google mit einer beispiellosen Erweiterbarkeit. Es findet Anwendung in einem breiten Spektrum von maschinellen Lernmodellen in nahezu beliebigem Umfang. Es skaliert von einer einzelnen CPU oder GPU bis hin zu Infrastrukturen im Cloud-Maßstab.

Bibliotheken wie TF-Slim zum Aufbau von neuronalen Netzwerken oder TFX für Produktionsworkflows verleihen TensorFlow eine beachtliche Vielseitigkeit. Sie umfasst Aufgaben der Bild- und Spracherkennung bis hin zur prädiktiven Analytik für die Vorhersage von Ereignissen wie Maschinenausfallzeiten basierend z.B. auf Sensordaten.

Eine Zeitreihe von Sensordaten, die verschiedene Messwerte wie Temperatur, Druck oder Vibration umfasst, muss nach dem Einlesen die sogenannte Normalisierung durchlaufen, um das Training des Modells zu ermöglichen, zum Beispiel hier in Python:

Für die Verarbeitung von Zeitreihendaten bietet sich ein neuronales Netzwerk mit LSTM-Schichten (kurz für Long Short-Term Memory) an, eine spezielle Art von rekurrenten neuronalen Netzwerken (RNNs). Diese Modelle sind darauf ausgelegt, langfristige Abhängigkeiten in sequenziellen Daten zu erfassen – also beispielsweise auch Zusammenhänge zwischen fortschreitender Materialermüdung (gemessen an Metriken wie Hitze- oder Lärmentwicklung oder Vibrationen) und der Qualitätsminderung der resultierenden Erzeugnisse. Am Beispiel einer Python-Implementierung:

Als Nächstes muss man das Modell kompilieren:

Erst dann kann man es trainieren. In dieser Phase müssen die Daten bereits in einem geeigneten Format vorliegen. Für die Eingabe in ein LSTM sollten sie in 3D-Numpy-Arrays organisiert sein (Samples, Time Steps, Features). Die Aufteilung der vorliegenden Daten in Trainings- und Testdaten ist in nur wenigen Zeilen Python erledigt:

Anhand der Validierungsdaten erfolgt anschließend die Prüfung des Modells, zum Beispiel so:

Dem TensorFlow-Framework liegt eine graphenbasierte Architektur zugrunde. Die Knoten in einem TensorFlow-Berechnungsgraphen repräsentieren die Rechenoperationen (z. B. Matrixmultiplikation, Aktivierungsfunktionen usw.); die Kanten bilden die Datenflüsse nach. Dieser Ansatz erleichtert die visuelle Darstellung der funktionalen Bausteine und Abhängigkeiten. Die graphenbasierte Architektur erleichtert auch die Parallelisierung und Optimierung von Berechnungen. Allerdings kann sie in einigen Fällen die Ausführung verlangsamen, insbesondere wenn der Graph sehr groß ist.

In einem Betriebsmodus namens „Eager Execution“ führt TensorFlow die Berechnungen sofort aus, ohne einen statischen Berechnungsgraphen zu erstellen. Der Verzicht auf den Aufbau von Graphen erlaubt ein höheres Maß an Interaktion und ein verbessertes Debugging-Erlebnis. TensorFlow fühlt sich dann an wie leichtgewichtiger Python-Code, nicht wie ein massives ML-Framework.

TensorFlow unterstützt die Ausführung leistungsoptimierter, komprimierter Modelle auf mobilen und eingebetteten Plattformen mit TensorFlow Lite. Mit TensorFlow.js können Machine-Learning-Modelle direkt im Browser laufen.

TensorFlow Hub, das offizielle Repository für wiederverwendbare Module und vorab trainierte Lernmodelle, ging kürzlich in Kaggle auf. Diese Plattform bietet eine breitere Sammlung von Lernmodellen und ist nicht an ein bestimmtes Framework gebunden. Sowohl Unternehmen und Forschungseinrichtungen als auch Einzelpersonen können ihre Notebooks, Datasets, Lernmodelle und Kaggle-Wettbewerbe veröffentlichen.

Keras

Keras ist eine beliebte High-Level-API für neuronale Netzwerke, die auf TensorFlow aufbaut. Keras bietet einfachere Mechanismen, um mit Deep-Learning-Modellen zu experimentieren, und senkt dadurch die Einstiegshürden.

Die Klassifikation von Bildern mit Keras ließe sich zum Beispiel mit einem CNN (kurz für Convolutional Neural Network a.k.a ConvNet) umsetzen. Diese Deep-Learning-Architektur bewährt sich bei Aufgaben wie Bilderkennung, Objekterkennung und Segmentierung aufgrund ihrer Fähigkeit, hierarchische Merkmale in Rohpixeldaten wahrzunehmen.

CNNs folgen einer hierarchischen Struktur. Ein einfaches CNN besteht aus einer Abfolge von Faltungs-Schichten (im Fachjargon CONV, kurz für Convolutional) und Pooling-Schichten (POOL), gefolgt von vollständig verbundenen Schichten (dense layer oder FC für fully connected) für die Klassifikation.

Die Faltung-Schichten extrahieren lokale Muster (Merkmale) aus dem Eingangsbild. Eine Pooling-Schicht reduziert die räumlichen Dimensionen nach jeder CONV-Schicht und somit die Anzahl der Parameter, um das Netzwerk robuster gegenüber Variationen zu machen. Zu guter Letzt nehmen vollständig verbundene („dichte“) Schichten die von den vorherigen Schichten gelernten Merkmale auf und kombinieren sie, um Vorhersagen zu treffen.

In Python entsteht das benötigte ML-Modell nach dem Importieren der erforderlichen Keras-Module mittels:

Um das ML-Modell zu trainieren, können Entwickler zum Beispiel den Dataset Fashion MNIST verwenden, eine Sammlung von 60.000 Trainingsbildern und 10.000 Testbildern, die in 10 Kategorien klassifiziert sind.

Die Einspeisung und Aufbereitung der Daten erfolgt in Python mittels:

Beim Kompilieren des Modells muss man den Optimierer, die Verlustfunktion und die Metriken festlegen, die während des Trainings und in der Validierungsphase des Modells bewertet werden sollen:

Um das Modell zu trainieren, genügt in Python:

Die anschließende Evaluierung des Modells gelingt mittels:

Die einfache und intuitive API von Keras erleichtert die schnelle Entwicklung von leistungsfähigen ML-Modellen.

(ID:50064368)