Mobile-Menu

KI auf Diät Neue Trainingsmethode für Neuronale Netze reduziert den Strombedarf deutlich

Quelle: Pressemitteilung Technische Universität München 3 min Lesedauer

Anbieter zum Thema

Technische Universität München
Schneider Electric GmbH
Fsas Technologies GmbH
PQ Plus GmbH

Forschende der Technischen Universität München (TUM) haben eine KI-Trainingsmethode entwickelt, die hundertmal schneller und damit wesentlich Energie-effizienter funktioniert. Das Beste: Das Verfahren liefert ähnlich genaue Ergebnisse wie bisherige Trainingsmethoden.

Das Bild zeigt einen Teil des Hochleistungsrechners „SuperMUC-NG“ vom Leibniz-Rechenzentrum. Derzeit gilt er als der achtschnellste Computer weltweit. (Bild: Veronika Hohenegger, LRZ)
Das Bild zeigt einen Teil des Hochleistungsrechners „SuperMUC-NG“ vom Leibniz-Rechenzentrum. Derzeit gilt er als der achtschnellste Computer weltweit.
(Bild: Veronika Hohenegger, LRZ)

Bisher erfordert das Training von Neuronalen Netzen für Künstliche Intelligenz (KI) enorme Rechenressourcen und damit sehr viel Strom. Das Verfahren der TUM beruht darauf, statt iterativ, also schrittweise vorzugehen, die Parameter auf Grundlage ihrer Wahrscheinlichkeit direkt aus den Daten zu berechnen. Nach Angaben der Forscher ist die Qualität der Ergebnisse mit den bislang üblichen iterativen Verfahren vergleichbar.

KI-Anwendungen, wie Large Language Models (LLMs), sind aus unserem Alltag nicht mehr wegzudenken. Die benötigten Rechen-, Speicher- und Übertragungskapazitäten werden dabei von Rechenzentren zur Verfügung gestellt. Doch der Energieverbrauch dieser Zentren ist enorm: 2020 lag er in Deutschland bei rund 16 Milliarden Kilowattstunden. Für das Jahr 2025 wird ein Anstieg auf 22 Milliarden Kilowattstunden prognostiziert.

Hinzu kommt, dass in den kommenden Jahren komplexere KI-Anwendungen die Anforderungen an Rechenzentren noch einmal deutlich erhöhen werden. Diese beanspruchen für das Training von Neuronalen Netzen enorme Rechenressourcen. Um dieser Entwicklung entgegenzuwirken, haben Forschende eine Methode entwickelt, die hundertmal schneller ist und dabei vergleichbar genaue Ergebnisse liefert wie bisherige Trainingsmethoden. Damit sinkt auch der benötigte Strombedarf für das Training erheblich.

Neuronale Netze, die in der KI für Aufgaben wie Bilderkennung oder Sprachverarbeitung eingesetzt werden, sind in ihrer Funktionsweise durch das menschliche Gehirn inspiriert. Sie bestehen aus miteinander verknüpften Knoten, den so genannten künstlichen Neuronen. Diese erhalten Eingabesignale, die dann mit bestimmten Parametern gewichtet und aufsummiert werden.

Wird ein festgelegter Schwellenwert überschritten, wird das Signal an die darauf folgenden Knoten weitergegeben. Zum Training des Netzwerks werden die Parameterwerte anfangs normalerweise zufällig gewählt, zum Beispiel in einer Normalverteilung. Sie werden dann über kleinste Änderungen angepasst, um die Netzwerkvorhersagen langsam zu verbessern. Da für diese Trainingsmethode viele Wiederholungen benötigt werden, ist sie extrem aufwendig und benötigt viel Strom.

Publikationen zum Thema

Rahma, Atamert, Chinmay Datar, and Felix Dietrich: „Training Hamiltonian Neural Networks without Backpropagation“, 2024. Machine Learning and the Physical Sciences Workshop at the 38th conference on Neural Information Processing Systems (NeurIPS)

Bolager, Erik L, Iryna Burak, Chinmay Datar, Qing Sun, and Felix Dietrich. 2023. „Sampling Weights of Deep Neural Networks.“ In Advances in Neural Information Processing Systems, 36:63075–116. Curran Associates, Inc.

Auf Grundlage ihrer Wahrscheinlichkeit

Felix Dietrich, Professor für Physics-enhanced Machine Learning und sein Team haben nun ein neues Verfahren entwickelt. Statt die Parameter zwischen den Knotenpunkten iterativ zu bestimmen, basiert ihr Ansatz auf Wahrscheinlichkeitsberechnungen. Die gewählte, probabilistische Methode basiert darauf, gezielt Werte zu nutzen, die sich an kritischen Stellen der Trainingsdaten befinden.

Sie fokussiert sich also auf die Stellen, an denen sich die Werte besonders stark und schnell ändern. Die aktuelle Studie zielt darauf ab, mit diesem Ansatz Energie-erhaltende dynamische Systeme aus Daten zu lernen. Solche Systeme verändern sich eigenen Regeln im Laufe der Zeit und finden sich unter anderem in Klimamodellen oder auf dem Finanzmarkt.

Professor Dr. Felix Dietrich
Die Professur „Physics-enhanced Machine Learning“ gehört zur TUM School of Computation, Information and Technology. Dietrich ist zudem Kernmitglied des Munich Data Science Institute (MDSI) und assoziiertes Mitglied des Munich Center for Machine Learning (MCML).
Er fasst zusammen: „Unsere Methode ermöglicht es, die benötigten Parameter mit minimalem Rechenaufwand zu bestimmen. Dadurch können neuronale Netze erheblich schneller und dadurch Energie-effizienter trainiert werden.“ Darüber hinaus habe sich gezeigt, dass die neue Methode in ihrer Genauigkeit mit iterativ trainierten Netzwerken vergleichbar sei.

Bildquelle: Technische Universität München

(ID:50345936)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu RZ- und Server-Technik

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte