Schlankheitskuren für KI-Modelle Was ist Sparsification?

Anbieter zum Thema

Vertiv GmbH

DAXTEN GmbH

Fsas Technologies GmbH

Die Komplexität von Modellen der Künstlichen Intelligenz (KI) steigt kontinuierlich an, was einen immer höheren Einsatz von Rechen- und Speicherressourcen erfordert. Mit Sparsification können Datacenter-Betreiber und -Anwender dieser Entwicklung entgegensteuern.

Sparsification ist eine Methode, um den Bedarf an Rechenleistung für künstliche neuronale Netzwerke zu verringern. Im Datacenter eingesetzt können sie zu erheblichen Kosteneinsparungen und einer verbesserten Umweltbilanz beitragen.

Traditionelle KI-Modelle sind so genannte Dense-Modelle beziehungsweise dichte Modelle, bei denen die einzelnen künstlichen Neuronen des KI-Algorithmus eng miteinander verwoben sind. Die Rechenoperationen eines Dense-Modells basieren damit nicht nur auf einer sehr großen Anzahl von Parametern. Für das Training oder die jeweilige Aufgabenstellung wird auch stets das komplette KI-Netz mit einbezogen.

Die Berechnungen finden also unabhängig davon statt, ob die aktivierten künstlichen Neuronen für das Endergebnis relevant sind oder nicht. Entsprechend groß ist der Bedarf an Rechenressourcen und Speicherkapazität.

Schlanke Systeme durch spärliche KI-Modelle

Sparse-Modelle verschlanken den KI-Algorithmus, indem sie nur solche Verbindungen zwischen den Neuronen herstellen, die für das Lösen des spezifischen Computerproblems relevant sind. Statt das komplette KI-Netz zu aktivieren, sind die relevanten Parameter nur spärlich (sparse) über das Modell verteilt, was Rechenressourcen und Speicherkapazität einspart, die ansonsten für die nicht benötigten Parameter hätten reserviert werden müssen. Sparse-Modelle erfordern einen hohen Parallelitätsgrad, um die KI-Algorithmen und die großen Datenmengen gleichzeitig verarbeiten zu können.

Ein Beispiel für hochgradig parallelisierte Recheneinheiten sind die Intelligent Processing Units (IPUs) des europäischen KI-Chipherstellers Graphcore. Einen konkreten Use Case für Sparsification liefert der Anbieter gleich mit.

Auf der Supercomputing Conference 2022 stellte Graphcore zusammen mit dem Heidelberger KI-Unternehmen Aleph Alpha ein KI-Sprachmodell vor, das mittels Sparsification von ursprünglich 13 Milliarden Parametern auf 2,6 Milliarden Parametern verkleinert werden konnte, also um rund 80 Prozent. Das verschlankte Modell benötigte dabei nur 20 Prozent der Verarbeitungs-Flops und 44 Prozent des Speichers seines Dense-Äquivalents.

Weiter optimieren mit Pruning und Quantisierung

Sparse-Modelle lassen sich mit weiteren Methoden kombinieren, um die Effizienz und Leistung im Datacenter zu steigern. Eine davon ist das Pruning. Während Sparsification darauf abzielt, die Netzwerk-Architektur von Anfang an spärlich zu gestalten, können durch Pruning nicht notwendige oder redundante Verbindungen innerhalb des Netzwerks auch jederzeit nachträglich entfernt werden.

Der Ansatz von Pruning ähnelt dem der Sparsification. Mittels Pruning werden die Netzwerk-Neuronen dahingehend analysiert, wie viel sie zum Gesamtergebnis beitragen. Ist ihr Input unerheblich oder nur gering, lässt man die entsprechenden Netzwerk-Knoten mitsamt ihren Verbindungen weg. Nicht aktivierte Netzwerkknoten können ebenfalls ausgeklammert werden.

Eine weitere Optimierungsmethode ist die Quantisierung. Dabei werden die einzelnen Gewichtungen innerhalb des KI-Modells nicht hochauflösend mit 32 Bit oder 64 Bit gespeichert, sondern etwa nur mit 16 Bit oder 8 Bit. Statt eine Rechenoperation beispielsweise mit 32 Bit durchzuführen, lassen sich doppelt so viele mit 16 Bit durchführen. Das spart beim Training genauso wie im Anwendungsfall nicht nur Speicherplatz, sondern beschleunigt auch den Rechenprozess.

(ID:50005521)