Pruning und Sparsification Neuronale Netze – zurück­gestutzt und ausgedünnt

Anbieter zum Thema

Vertiv GmbH

Schneider Electric GmbH

DAXTEN GmbH

Pruning und Sparsification sind Schlüsseltechnologien, wenn Unternehmen entscheiden, ob und wie sie KI einsetzen. Sie verschlanken Algorithmen und schonen so Ressourcen. Schlanke Systeme kann man eher im eigenen Rechenzentrum betreiben. Man ist dann nicht auf die Serverfarmen der Hyperscaler angewiesen. Und sicherer als in den USA sind die zugehörigen Daten hier auch.

Das große Vorbild für künstliche Intelligenzen jedweder Art verfügt über rund 100 Billionen lernfähige Synapsen: das menschliche Gehirn. Es ist deutlich komplexer als selbst die größten Sprachmodelle wie die „GPT“s von Open AI und Gemini von Google. Aber immerhin auf über eine Billion von quasi Synapsen bringen es die größten Sprachmodelle inzwischen auch.

Und sie stoßen damit an Grenzen: Wer eines trainieren will, der tut das tunlichst in einem Hochleistungsrechenzentrum. Und das kann er dann für ein paar Wochen zusperren, weil außer Maschinellem Lernen da nix mehr geht.

Die Folge #31 des DataCenter-Diaries-Podcast gibt es unter dem Titel: „Pruning und Sparsification: Wie groß ist die menschliche Intelligenz in Zahlen? Und kann man auch etwas weglassen?“ mit Achim Killer auch zum Hören. Der Podcast enthält zudem Originalzitate in englischer Sprache

Die Podcast-Folge #31 von DataCenter Diaries findet sich auf Spotify, Apple Podcasts, Amazon Musik und Google Podcast.

Deshalb werden KI-Algorithmen oft vor dem Einsatz beschnitten – englisch: to prune. Man lässt einfach nicht so wichtige Teile weg. Diese Teile stellt man sich – entsprechend dem biologischen Vorbild - als Neuronen vor, die dann übersprungen werden.

Oder man dünnt das algorithmische Geflecht etwas aus. Dann wird es sparse – schütter wie männliches Jahr nach ein paar Lebensjahrzehnten. Mathematisch gesehen werden dazu die Ergebnisse von Teilberechnungen mit null gewichtet: Multipliziert mit null, rechnet es sich leichter.

Die Gewichtung zählt

„Das Einfachste ist, dass man sich die Größe dieser Gewichte anschaut, wobei die Hypothese ist, dass kleine Gewichte halt wenig Bedeutung haben, erläutert Stephan Günnemann, Professor für Maschinelles Lernen an der Technischen Universität München. „Und diese Gewichte werden dann einfach auf null gesetzt.“ Das ist Sparsification. Beim Pruning wiederum werden ganze Neuronen oder Teilberechnungen deaktiviert.

Heute üblich ist es, neuronale Netze nach der Trainingsphase zu verschlanken, also vernachlässigbare Teilberechnungen und Gewichte zu entfernen. Man kann das aber auch schon tun, während das Netz noch lernt: „Die Ansätze, dass man während des Trainings sozusagen schon kleine Netze entwickelt, funktionieren dann meist so, dass man zu Beginn des Trainings weiter mit einem großen Netzwerk startet und dann im Laufe des Trainings es sukzessive kleiner macht“, so Professor Günnemann.

Pruning und Sparsification sind zwei Methoden, um den Bedarf an Rechenleistung für künstliche neuronale Netzwerke zu verringern. Damit es schneller geht, wird darüber hinaus oft der Code optimiert oder die Auflösung verringert, „also man speichert die Gewichte nicht mit 32 oder 64 Bit, sondern nur mit 16 oder mit 8 Bit.“

Warum funktioniert das?

Auch das schont Ressourcen und beschleunigt den Ablauf beim Training und bei der Anwendung von künstlichen neuronalen Netzen. „Das heißt, anstatt dass ich halt eine Operation für 32 Bit mache, kann ich dann doppelt so viele mit 16 Bit machen. Dadurch erhält man auch einen starken Geschwindigkeitsvorteil“, formuliert Stephan Günnemann.

Den spektakulärsten Erfolg beim Beschneiden seines Algorithmus hat Aleph Alpha zusammen mit dem britischen Hersteller von AI-Beschleunigern Graphcore erzielen können, vorgestellt auf der vorletzten Supercomputer Konferenz. Aleph Alpha hat diverse Basismodelle – Foundation Models, die die Endanwender dann für Spezialaufgaben trainieren können.

Und das kleinste, das hat damals – ungestutzt – 13 Milliarden Parameter gehabt. Die hat Aleph Alpha auf gut zweieinhalb Milliarden zurechtgeschnitten, ohne dass wesentliche Fähigkeiten verloren gegangen seien. Das gestutzte Modell brauche 80 Prozent weniger Rechenleistung und 40 Prozent weniger Strom.

(ID:49996251)