Umgang mit Riesendatenemengen - ein praxiserprobter Ansatz aus der Forschung Die Symbiose von Edge und Clouds

Anbieter zum Thema

TUM Campus Heilbronn gGmbH

Rittal GmbH & Co. KG

Rosenberger-OSI GmbH & Co. OHG

DeRZ - Deutsche Rechenzentren GmbH

Wie können enorme Datenmengen – insbesondere bei systemkritischen Infrastrukturen – sicher und effizient übermittelt und weiterverarbeitet werden? Die Kombination aus Edge und Cloud Computing ist ein innovativer Ansatz, der nützliche Daten identifiziert, deren Aussagekraft erhöht und gleichzeitig Netzwerke entlastet.

In einer Welt, in der Daten der Motor nahezu jeder IT-gestützten Entscheidung sind, wird die effiziente Verarbeitung von Sensordaten immer wichtiger – besonders für systemkritische Infrastrukturen wie Kraftwerke oder die Wasserversorgung. Sensoren überwachen industrielle Anlagen, indem sie kontinuierlich mit einer hohen Abtastrate physikalische und chemische Parameter wie Temperatur, Druck oder Feuchtigkeit messen. Sie liefern Daten in Echtzeit, um potenzielle Probleme frühzeitig zu erkennen und Systeme optimal zu steuern. Doch in der Praxis stellt diese Datenflut IT-Systeme aufgrund der hochfrequenten Abtastung vor erhebliche Herausforderungen:

• Übertragungsengpässe: Wenn alle Daten ohne Vorverarbeitung übermittelt werden, entstehen hohe Anforderungen an Bandbreiten.

• Energieverbrauch: Rechenzentren, Netzwerkinfrastruktur und die Verarbeitung von Daten sind sehr energieintensiv. Mit wachsender Datenmenge steigen die Kosten für die Stromversorgung.

• Latenz: Die Verzögerungen durch Cloud-basierte Analysen machen Echtzeitanwendungen so gut wie unmöglich. Während in einigen Anwendungsfällen Aktualisierungen im Minutenintervall als „Echtzeit“ ausreichen, sind sie beispielsweise im dynamischen Maschinenschutz völlig unzureichend, da hier Reaktionen innerhalb von Millisekunden erforderlich sind.

Ein Ansatz, den ein Forschungsteam der TU München verfolgt, versucht, weniger Daten zu übertragen – dafür aber relevantere. Das könnte mit Hilfe einer hybriden Architektur gelingen, bei der ein Teil der Datenverarbeitung direkt an der Edge, also in unmittelbarer Nähe der Sensoren, stattfindet, während die Cloud für langfristige Analysen und Modellupdates genutzt wird. Dieser Ansatz verbessert nicht nur die Effizienz, sondern auch die Zuverlässigkeit der Systeme.

Einblicke in die Praxis: Das Sense-Projekt

In der Praxis wurde dieser Ansatz für das „Sense“-Projekt (Sense = Sensor on the Edge) angewendet, ein Kooperationsprojekt zwischen der Technischen Universität München (TUM) und der Ingenieurbüro für Thermoakustik GmbH (IFTA) aus Puchheim, das von der Bayerischen Forschungsstiftung (BFS) gefördert wurde. Ziel war es, die Potenziale einer hybriden Sensordatenverarbeitung am Beispiel eines deutschen Gaskraftwerks mit zwei Hochleistungsturbinen zu demonstrieren.

Das Projekt erforschte eine Vielzahl von Methoden zur Optimierung der Sensordatenverarbeitung. Im Fokus stand die Frage, wie Echtzeitanalysen mit langfristigen Cloud-basierten Auswertungen kombiniert werden können, um Schäden an den Turbinen frühzeitig zu erkennen und den Betrieb zu optimieren. Verschiedene Edge-Rechnerarchitekturen und Machine-Learning-Algorithmen wurden getestet, um die Datenverarbeitung direkt vor Ort effizienter zu gestalten.

Ein technologischer Meilenstein: Edge und Cloud in Aktion

Ein zentraler Bestandteil des Sense-Projekts war ein Demonstrator, der speziell entwickelt wurde, um Forschungsfragen zu Datenkompression und Durchsatz zu untersuchen und dabei die Anforderungen industrieller Anwendungen zu erfüllen. Das Ziel bestand darin, die Verarbeitungsrate der Sensordaten zu analysieren und Wege zu identifizieren, diese im Vergleich zu bisherigen Systemen zu steigern.

Zusätzlich implementierte das Team zentrale Funktionen wie Datenkompression, Filterung und Modellierung, um die Effizienz der Analyse zu erhöhen. Diese Vorverarbeitung reduzierte die Menge der in die Cloud übertragenen Daten erheblich, ohne die Analysequalität zu beeinträchtigen. Ein Leistungsmodell bot erste Einblicke in die benötigten Ressourcen für Edge-Systeme und lieferte eine Grundlage für weitere Optimierungen.

Im weiteren Projektverlauf wurde der Demonstrator um Funktionen zur nahtlosen Integration von Edge- und Cloud-Systemen erweitert. Dazu entstand im Labor ein Testsystem, das strukturierte Workflows für KI-Pipelines und kollaborative Datenmodelle umfasste. Detaillierte Leistungsmessungen am Demonstrator ermöglichten es, die Anforderungen an Ressourcen sowohl an der Edge als auch in der Cloud präzise zu analysieren und den Durchsatz des Gesamtsystems gezielt zu verbessern.

Durch die Kombination von Edge- und Cloud-Technologien konnten nicht nur Latenzen minimiert, sondern auch komplexe KI-Modelle zentral trainiert und anschließend vor Ort eingesetzt werden. Der Demonstrator war in der Lage, potenzielle Schäden an den Turbinen mehrere Tage im Voraus zu erkennen – ein entscheidender Vorteil für die Sicherheit und Effizienz des Kraftwerksbetriebs.

Federated Dataset Distillation

In industriellen Anwendungen werden die vor Ort erzeugten Daten größtenteils in die Cloud geschickt, wo sie anschließend ausgewertet werden. Dabei liegt die Herausforderung darin, die dezentral gespeicherten Daten effizient in die Cloud zu übertragen, um sie für „Federated Learning“ zu nutzen.

Dieser Ansatz des Machine Learning erlaubt es, Modelle über verteilte Datenquellen hinweg zu trainieren, ohne dass lokale Rohdaten ausgetauscht werden müssen. Um die Datenmenge bei umfangreichen Datensätzen zu minimieren, kann die Methode der „Dataset Distillation“ eingesetzt werden. Sie ermöglicht eine verlustbehaftete Komprimierung der Edge-Daten, sodass diese besser für Machine-Learning-Anwendungen aufbereitet werden können.

Ob diese Methode in Zukunft auch für Sensordaten angewendet werden kann, ist ein spannendes Forschungsfeld. Gelingt dies, könnten Sensordaten bereits an der Edge so verdichtet werden, dass nur relevante Informationen in die Cloud übertragen werden. Gleichzeitig würden die Daten für das Training von KI-Modellen nutzbar bleiben. Entscheidende Vorteile sind ein geringerer Bandbreitenbedarf, niedrigere Latenzen und eine höhere Energie-Effizienz. Gleichzeitig bleibt die Skalierbarkeit durch die Cloud gewährleistet.

Die Mischung macht’s: Ein Wegweiser für IT-Entscheider

Das Sense-Projekt ist ein Beispiel dafür, wie Universitäten und Industrie-Unternehmen gemeinsam Lösungen entwickeln können, die die digitale Transformation vorantreiben. Die Zusammenarbeit zwischen der TUM und IFTA verdeutlicht, dass solche Projekte nicht nur wissenschaftliche Erkenntnisse liefern, sondern auch einen klaren praktischen Nutzen haben können, insbesondere in datenintensiven Branchen wie der Energieversorgung.

Die hybride Nutzung von Edge und Cloud hat das Potenzial, die Sensordatenverarbeitung in vielen Anwendungsbereichen zu revolutionieren. Besonders in Zeiten der Energiewende, in der Gaskraftwerke eine Schlüsselrolle spielen, können IT-Entscheider von diesen Technologien profitieren.

Sie ermöglichen nicht nur eine höhere Effizienz und Betriebssicherheit, sondern leisten auch einen Beitrag zur Kostenkontrolle. Die Mischung aus Edge und Cloud Computing könnte der Schlüssel zu nachhaltigen und skalierbaren Lösungen sein – nicht nur für Kraftwerke, sondern auch für eine Vielzahl industrieller Anwendungen.

(ID:50272911)