Thema: Hunger! ML und KI brauchen Unmengen an Energie

erstellt am: 13.04.2018 16:57

Antworten: 1

Diskussion zum Artikel


Künstliche Intelligenz und Machine Learning wandern aus
Hunger! ML und KI brauchen Unmengen an Energie


Die KI-Welle hat gerade erst angefangen. Doch die Rechnung ist denkbar einfach: Je intelligenter die Maschine, desto mehr muss sie rechnen. Und dafür braucht sie eine Menge Strom sowie eine verlässliche Infrastruktur.

zum Artikel

Antworten

nicht registrierter User


Kommentar zu: Hunger! ML und KI brauchen Unmengen an Energie
13.04.2018 16:57

Die Speicherinfrastruktur im Rechenzentrum wurde jahrelang mit herkömmlicher Hardware umgestaltet. Neue, datenintensive Anwendungen für künstliche Intelligenz (KI) und maschinelles Lernen (ML) sorgen nun aber für einen stark steigenden Energiebedarf. Hier sind neue Ideen gefragt.

Eine Option für deutlich effizientere, auch für High-End-Workloads geeignete Lösungen - ist All-Flash-basierter Objektspeicher.

Der Bedarf für immer mehr Speicherressourcen wurde jahrelang mit einer massiven Aufstockung von Hardware angegangen. Diese erfordert viel Stellfläche, sorgte für einen hohen Kühlbedarf und deswegen auch einen enormen Stromverbrauch. So kommen heute vielerorts noch herkömmliche Festplattensysteme zum Einsatz, die mit alten Protokollen kommunizieren und keine mehrfach parallele Verarbeitung von Datenoperationen ermöglichen.

Neue Anwendungen und Anwendungsfälle für KI, ML, Deep Learning (DL) und Analytik eröffnen vielfältige Möglichkeiten, sei es im Handel, in der Wissenschaft, in Verkehr und Logistik oder im Gesundheitswesen. Da immer mehr Unternehmen diese neuen Technologien implementieren, müssen sie mehr Performance als je zuvor aus ihrer Infrastruktur herausholen.

Diese Hochleistungsumgebungen erhöhen jedoch den Energieverbrauch im Rechenzentrum massiv und damit auch die Energiekosten.

Es gibt jedoch eine Lösung für die Herausforderungen in Sachen Energieeffizienz und Performance im Rechenzentrum. In den letzten fünf bis acht Jahren hat die Flash-Technologie enorme Fortschritte gemacht.

Dies erleichtert den längst fälligen Übergang zu einer modernen, weitaus effizienteren Anwendungsinfrastruktur. All-Flash-Pionier Pure Storage bedient mit seinem FlashArray-Portfolio bereits seit Jahren den Bedarf nach ebenso hochleistungsfähigen wie energieeffizienten Speicherlösungen.

Historisch gesehen war Objektspeicher groß und langsam. Heute gibt es einen wachsenden Bedarf an Hochleistungsobjektspeicher. S3 und andere öffentliche Cloud-Objektspeicherprotokolle haben das Wachstum der Objektspeicherung sowohl in lokalen Umgebungen als auch in der Cloud weiter vorangetrieben.

Daraus ist die Idee eines anderen, moderneren Objektspeichers entstanden – All-Flash-basierend, ultraschnell, besonders Energie-effizient und mit einem stärkeren Schwerpunkt auf Performance.

KI-, ML- und DL-Systeme sind in der Regel mit komplexen, parallelen Dateisystemen wie GPFS oder BeeGFS oder traditionellen Scale-Out NAS-Systemen verknüpft. Gerade hier lassen sich mit einem All-Flash-basierten Objektspeicher wie FlashBlade enorme Vorteile hinsichtlich Performance und Energieeffizienz erzielen. Letztere wird an diesem Beispiel deutlich:

Bei einer 15-Blade- bzw. 75-Blade-Konfiguration beträgt die Leistungsaufnahme 1.800 Watt bzw. 7.500 Watt. Bei einer Speicherkapazität von 8 Petabyte für 20 HE sind das gerade mal etwa 1 Watt pro Terabyte und das gilt für das gesamte Storage-System, nicht nur für die eigentliche Speicherhardware.

Eine herkömmliche 4-Terabyte-Festplatte hat eine durchschnittliche Leistungsaufnahme von etwa 10 Watt, das wären im Vergleich dazu 2,5 Watt pro Terabyte.

All-Flash-Object-Speicher sind für moderne Datenanalytik-Workloads wie Deep Learning und Hadoop konzipiert – und hat sich nicht nur wegen seiner Energie-Effizienz in der Praxis bereits vielfach bewährt.

Viele Unternehmen, die hochmoderne und großvolumige Datenverarbeitung betreiben, greifen darauf zurück. Die Objektspeicherlösung kommt in einem breiten Spektrum von Branchen und Anwendungsfällen, darunter Automotive, Biochemie, Gesundheitswesen, Öl- und Gasindustrie, Profisport, Software-as-a-Service (SaaS) sowie prädiktive Analytik zum Einsatz, wie folgende Beispiele zeigen:

• Zenuity, ein Joint Venture zwischen Volvo und Autoliv entwickelt Software für autonome Fahr- und Fahrerassistenzsysteme. FlashBlade und NVIDIAs KI-Supercomputer DGX-1 dienen als Grundlage für das DL- und ML-Projekt.
• Das AMPLab an der UC Berkeley hat die Echtzeitanalyse-Engine Apache Spark, ein hochmodernes Analysetool, entwickelt und als Vorreiter genutzt. Die Genomics-Abteilung der UC Berkeley implementierte dann Apache Spark auf FlashBlade, um als Beschleuniger für signifikante Fortschritte bei der genomischen Sequenzierung zu dienen.

Bei diesen Beispielen steht die Performance im Vordergrund, doch geht es stets auch um Gesamtbetriebskosten. Hierbei stellt der Energiebedarf einen bedeutenden Posten dar. Die Energieeffizienz jeder Speicherinfrastruktur kann bereits mit gewöhnlicher All-Flash-Technologie erheblich verbessert werden.

All-Flash-basierter Objektspeicher setzt noch eins drauf und vereint vorbildliche Energie-Effizienz mit überlegener paralleler Verarbeitungsleistung für neue datenintensive Anwendungen.

von: von: Markus Grau, Principal Systems Engineer bei Pure Storage

Antworten

Antwort schreiben

Titel:


Nachricht:

 




Thema abonnieren:

Email:
*Ich bin mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung und AGB einverstanden.
Antwort abschicken