Green AI – mit kleineren, spezialisierten KI-Modellen Hohen Energieverbrauch von KI messen und eindämmen

Anbieter zum Thema

Rittal GmbH & Co. KG

Schneider Electric GmbH

VON ZUR MÜHLEN'SCHE GmbH

Der Einsatz von Künstlicher Intelligenz verschiebt sich von einer Phase des Ausprobierens und KI-Trainings hin zur Anwendungsphase, der KI-Inferenz. Damit dürften solche Modelle bereits einen relevanten Anteil der Ressourcen in einem Unternehmen verbrauchen. Wie lässt sich dabei der ökologische Fingerabdruck reduzieren?

Im Fokus von KI-Forschern und -Forscherinnen sowie Kritikern stand bisher nur die Trainingsphase für KI- und Machine-Learning-Modelle. Beispielweise gibt es schon Erkenntnisse wie die, dass eine 20-minütige Sitzung mit ChatGPT 500 Milliliter an Wasser verbraucht oder das Training von ChatGPT 600 Kilogramm CO₂ pro Training freisetzt.

Da aber vor allem die intensive Anwendung von KI, die Inferenz, perspektivisch für die meisten Modelle die größere Menge an Energie verbraucht, sind nun neue Techniken zur Energieeinsparung gefragt. KI-Inferenz ist der entscheidende Schritt, bei dem trainierte Modelle ihr erworbenes Wissen anwenden, um präzise Entscheidungen zu treffen oder Vorhersagen auf der Grundlage neuer Daten zu treffen.

Durch das Training von KI-Modellen auf umfangreichen Datensätzen erlangen sie die Fähigkeit, Muster zu erkennen und Informationen zu verarbeiten. In der Inferenz-Phase nutzen diese Modelle das gelernte Wissen, um relevante Einblicke zu generieren oder spezifische Probleme zu lösen. Dieser Prozess ermöglicht es KI, in Echtzeit auf Anfragen zu reagieren und fundierte Entscheidungen zu liefern. So können Unternehmen sie in verschiedenen Bereichen praktisch anwenden.

Die Notwendigkeit zur Energieeinsparung kommt nicht zuletzt auch daher, dass selbst große Tech-Unternehmen potenziell Probleme haben dürften, die geforderte Menge an Energie aus den aktuellen Stromnetzen zu beziehen. Microsoft plant beispielsweise, Mini-Kernkraftwerke für KI aufzubauen – und es gibt mindestens vier bis fünf KI-Player mit teils ähnlichen Ambitionen, darunter Google, Facebook, OpenAI, Mistral etc.

Die Anwendung von KI erfordert neue Techniken zur Energiereduktion

Ansätze, wie man das Training in seinem Ressourcenhunger deutlich reduzieren kann, gibt es bereits einige, wie etwa 1-Bit-KI-Modelle, Standardisierung auf 8-Bit Integer, Power-Capping der GPUs oder natürlich schlicht die Reduktion der Parameter des Modells.

Im Training variieren die Energiekosten für diese Modelle bereits enorm, was wiederum maßgeblich in der Zahl der Parameter begründet liegt. Vor allem in Europa, wo Energie teuer ist, eine starke Komponente der Kosteneinsparung. In vielen Ländern, die ihre Energie überwiegend aus fossilen Trägern beziehen, kommt der Umweltfaktor hinzu.

Darüber hinaus gehend sind jedoch vor allem Techniken gefragt, die nicht nur im strukturellen Aufbau der Modelle begründet sind, sondern auch solche, die Unternehmen eigenständig ausführen können, um sowohl die Kosten als auch die Zeit für eine Antwort der Modelle zu reduzieren. Besonders hinsichtlich des Outputs der Modelle bietet sich eine Möglichkeit für Unternehmen und Anwender, relevante Energie- und CO₂-Einsparungen zu erzielen.

Eine mögliche Lösung: Modell-Vorauswahl und Prompt-Classification

Die meisten Anbieter und auch die Open-Source-Community haben gleich mehrere Modelle im Angebot. So bietet OpenAI sein ChatGPT-Modell in diversen Versionen an (3.5 Turbo, 4, 4o etc.), Google hat Bard, Gemini etc. und im Open-Source-Bereich gibt es LLama 3, LLama 2, Mistral, gemma, codellama usw.

Die Grundidee besteht in der Paarung von Klassifizierungs-Algorithmen mit KI, um das für den aktuellen Prompt beste Modell auszuwählen. Je nach „Typ“ des Prompt, z. B. für eine Text-Zusammenfassung, mathematische Aufgabe, Recherche etc., wird ein spezialisiertes und optimiertes KI-Modell ausgewählt, anstatt ein generalistisches und energiehungriges zu nehmen.

Beispiel: Auf der Seite Green-Coding.ai hat unser Unternehmen, das im Bereich Forschung, Beratung und Entwicklung zur Energie- und CO₂-Einsparung bei Software arbeitet, einen Energy AI Playground veröffentlicht. Hier kann man aus verschiedenen Modellen auswählen und schauen, welchen Einfluss u. a. die Art des Prompts, aber auch die Auswahl des KI-Modells auf den Energieverbrauch hat.

Nach Eingabe des Prompts wird dieser an ein KI-Modell auf einem speziell mit Messgeräten ausgestatteten Server in einem Rechenzentrum geschickt, in dem die Energie- und CO₂-Daten erhoben werden. Im ersten Bild sieht man, dass das LLama-3-Modell eine einfache Rechenaufgabe genauso löst wie das gleich große Gemma.

Jedoch braucht Gemma für dieselbe Antwort deutlich mehr Energie und CO₂, im Vergleich fast zehnmal so viel. Analog finden sich auch Modelle, die z. B. für eine Text-Zusammenfassung, Kategorisierung o. ä. identisch gute Resultate liefern wie die Konkurrenz, aber auch einen niedrigeren Energieverbrauch haben.

Das können Unternehmen zur Energiereduktion von KI tun

Unternehmen sollten die für sie wichtigen, typischen Anwendungsfälle der Modelle identifizieren, darunter Übersetzungen, Resümees, Kategorisierungen, Code-Generierung usw. Danach sollten sie diese dann den entsprechend eingesetzten KI-Modellen zuordnen.

Hierdurch lassen sich sowohl Antwortzeiten verringern als auch Kosten, Energie und CO₂ einsparen. Zudem ist man weniger von einem bestimmten Modell abhängig, sondern diversifiziert seine KI-Strategie. Die Details dieses Ansatzes finden sich u. a. in dem zugehörigen akademischen Paper für die Konferenz HotCarbon 2024, auf der spezielle Lösungen für Energie- und CO₂-Einsparungen bei digitalen Produkten vorgestellt werden.

(ID:50080279)