Knoten und Blätter im KI-Modell Was ist Pruning?

Anbieter zum Thema

Vertiv GmbH

Schneider Electric GmbH

DAXTEN GmbH

Ein verantwortungsvoller und nachhaltiger Umgang mit Ressourcen bedeutet für Datacenter-Betreiber unter anderem, ihren Energiebedarf zu minimieren. Pruning kann nicht nur einen Beitrag dazu leisten, sondern gleichzeitig auch die Effizienz und Leistung im Rechenzentrum steigern.

Der Rechenzentrumsmarkt in Deutschland wächst weiter. Zwischen 2012 und 2022 verzeichnete die Branche einen Anstieg der IT-Anschlussleistung um 90 Prozent, so das Ergebnis einer Studie des Borderstep-Instituts, die vom Digitalverband Bitkom in Auftrag gegeben wurde (siehe: „ Studien-Update 2023 des Branchenverbands Bitkom Schlaglichter auf den Data­center-Markt in Deutschland “.

Auch der Strombedarf ist deutlich gestiegen. Lag er im Jahr 2012 noch bei 11 Milliarden Kilowattstunden, waren es 2022 bereits 18 Milliarden Kilowattstunden.

Datacenter 2030 ....

Ralph Hintemann: Explodiert der Energiebedarf von Rechenzentren?

Gestiegen sind allerdings auch die Effizienz und die Rechenleistung im Datacenter. Erstere hat sich laut den Analysten des Borderstep-Instituts in den vergangenen Jahren insgesamt versechsfacht, während die Leistung der Rechenzentren im Studienzeitraum sogar um den Faktor 10 zugelegt hat.

Gleichzeitig sind die Datacenter-Betreiber bemüht, EU-seitige und nationale Klimaziele hin zu einem nachhaltigeren Betrieb umzusetzen. So bezieht mindestens die Hälfte der größeren kommerziellen Rechenzentren in Deutschland regenerativ erzeugten Strom über Ökostrom-Verträge.

Effizienzsteigerung durch Pruning

Pruning kann ebenfalls einen Beitrag zum ressourcenschonenden Umgang mit Energie und Rechenzentrums-Equipment leisten. In der Botanik bezeichnet dieser Begriff das Ausästen und Zurückschneiden von Bäumen und Sträuchern, um ein optimales Wachstum zu erreichen.

Angewendet auf künstliche neuronale Netzwerke ist Pruning ein Datenkompressions-Verfahren, um einen bereits bestehenden Entscheidungsbaum beziehungsweise KI-Algorithmus hinsichtlich Modellgröße und Komplexität so zu reduzieren, dass sich der Bedarf an Rechenleistung verringert. Pruning kann damit zu einer erheblichen Einsparung von Ressourcen führen und gleichzeitig die Effizienz und Leistung im Datacenter steigern.

Pruning eignet sich auch dafür, Overfitting zu reduzieren. Das Problem der Überanpassung kann beim Training von KI-Modellen bei sehr großen Datenmengen auftreten. Dabei verlernt die KI einmal gelerntes wieder oder baut aus den Trainingsdaten falsches Wissen auf. Erkennen lässt sich ein Overfitting häufig daran, dass die KI kleinere Datensätze zuverlässig beurteilt, bei größeren Datensätzen aber keine zuverlässigen Ergebnisse mehr liefert.

Nur der relevante Input zählt

Ein Entscheidungsbaum beziehungsweise KI-Algorithmus besteht aus vielen kleinen Teilen, die ähnlich wie Neuronen in einem menschlichen Gehirn funktionieren. Mittels Pruning lassen sich deren Berechnungen beschleunigen, indem Teile des Algorithmus weggelassen oder mit Null gewichtet werden.

Dazu klassifiziert man mittels Pruning die Netzwerk-Neuronen dahingehend, wie viel sie zum Gesamtergebnis beitragen. Ist ihr Input unerheblich oder vergleichsweise gering, lässt man sie mitsamt ihren Verbindungen weg. Während des Trainings nicht aktivierte Netzwerkknoten können ebenfalls ausgeklammert werden.

Beim Pruning haben sich mit dem Botton-Up-Pruning und Top-Down-Pruning zwei Verfahren etabliert. Das Botton-Up-Pruning startet am letzten Knoten des Entscheidungsbaums und analysiert nach oben folgend die Relevanz jedes einzelnen Knotens für das Gesamtergebnis. Nicht relevante Knoten werden dabei durch ein Blatt ersetzt. Das Top-Down-Pruning startet an der Wurzel des Entscheidungsbaums und führt die gleiche Überprüfung nach unten folgend durch.

Diese Verschlankungsprozesse finden üblicherweise nach der Trainingsphase statt, lassen sich aber auch ausführen, während das Netz noch lernt. Dabei ist es wichtig, darauf zu achten, dass die Genauigkeit des Rechenmodells möglichst hoch bleibt. Dazu gilt es ein gesundes Verhältnis zwischen der Reduzierung der Verbindungen und der Aufrechterhaltung der Netzwerkleistung zu finden.

Sparsification hat das das gleiche Ziel

Neben Pruning ist Sparsification (auch Sparsifizierung genannt) eine weitere Methode, um die Leistungsfähigkeit und die Effizienz von künstlichen neuronalen Netzwerken zu verbessern. Dabei setzen sie an unterschiedlichen Stellen an.

Während mittels Pruning nicht notwendige oder redundante Verbindungen innerhalb eines bereits bestehenden Netzwerks entfernt werden, zielt Sparsification darauf ab, die Netzwerk-Architektur von Anfang an spärlich zu gestalten, was den Speicher- und Rechenbedarf im Datacenter ebenfalls deutlich reduzieren kann.

(ID:50007099)