Übersicht KI- und ML-Stacks, Teil 1

KI-Engines im Bündel mit Hardware

| Autor / Redakteur: Filipe Martins und Anna Kobylinska* / Nico Litzel

Feuer und Flamme: Sind die Komponenten eines KI/ML-Stacks gut aufeinander abgestimmt, geht einem ein Licht auf.
Feuer und Flamme: Sind die Komponenten eines KI/ML-Stacks gut aufeinander abgestimmt, geht einem ein Licht auf. (Bild: April Pethybridge/Unsplash und Autoren)

Künstliche Intelligenz (KI) „fällt nicht vom Himmel“. Leistungsstarke KI-Lösungen entstehen auf der Basis gut abgestimmter KI- und Machine Learning Stacks. Davon gibt es zum Glück einige. Etablierte Software-Entwicklungshäuser sind in Sachen KI und Machine Learning (ML) mittlerweile fest im Sattel. Inzwischen wollen andere Unternehmen auch mit ins Boot.

Künstliche Intelligenz gilt als ein Oberbegriff für lernfähige Systeme und deckt Maschinelles Lernen (ML) eigentlich mit ab. Der Begriff KI findet dann Anwendung, wann immer von lernenden Anwendungen die Rede ist – auch Algorithmen des Deep Learnings sind hiermit abgedeckt. Im Gegensatz dazu stellt ML die autarken oder semi-autarken Handlungsfähigkeiten cyber-physischer Systeme in den Vordergrund, welche hierzu die Analyse von Datenströmen aus Sensorik in nahezu Echtzeit meistern müssen.

Überblick über aktuelle Teildisziplinen Künstlicher Intelligenz laut KPMG Deutschland
Überblick über aktuelle Teildisziplinen Künstlicher Intelligenz laut KPMG Deutschland (Bild: KPMG)

Begrifflichkeiten jetzt aber beiseite: Der KI/ML-Goldrausch ist in vollem Gange. IDC-Analysten zufolge soll der weltweite Markt für KI/ML-Lösungen im laufenden Jahr satte 35,8 Milliarden US-Dollar erreichen und sich damit gegenüber dem Vorjahr mit 44 Prozent Wachstum nahezu verdoppeln.

Das deutsche Bruttoinlandsprodukt (BIP) könnte sich dank KI bis zum Jahr 2030 um insgesamt 11,3 Prozent vergrößern, schätzt PwC. Dieses Wachstum entspricht einer Wertschöpfung von rund 430 Milliarden Euro, also knapp über der aktuellen Gesamtwirtschaftsleistung von Ländern wie Österreich und Norwegen.

Sehen, Hören, Handeln

Unternehmen erhoffen sich von KI/ML-Algorithmen zur Auswertung von Big Data einzigartige Wettbewerbsvorteile: mehr Customer Intelligence, niedrigere Kosten dank prädiktiver Instandhaltung, geringere Betriebsrisiken durch Betrugsprävention und Früherkennung von Cyber-Angriffen. Den Anwendungsmöglichkeiten sind praktisch keine Grenzen gesetzt, sofern sich das Vorhandensein hochwertiger Datenquellen gewährleisten lässt.

Doch was nützt KI als ein Alleinstellungsmerkmal, wenn alle Akteure über dieselben Algorithmen verfügen? Nicht viel. Erst fortgeschrittene KI-Stacks schaffen die Grundlagen, um den Lernfähigkeiten der eigenen Anwendungen die so begehrte Exklusivität zuteilwerden zu lassen.

Ein KI-Stack setzt sich wie eine traditionelle Schichttorte aus mehreren Ebenen zusammen. Idealerweise sollten diese ineinander „greifen“ und beim Schneiden und Servieren (sprich: beim Orchestrieren) gut zusammenhalten. Die unterste Ebene des Stacks bildet eine KI/ML-optimierte Hardware (siehe den Abschnitt „Aufgebohrt: KI-Optimierte Hardware“ weiter unten).

Auf diesem Infrastrukturfundament setzen dann die Orchestrierungswerkzeuge auf (zum Beispiel Kubernetes). Eine weitere Softwareschicht, die dann wiederum darauf aufbaut, zeichnet für das Management der Orchestrierungswerkzeuge und somit auch die Portabilität des Softwarestacks zwischen verschiedenen Laufzeitumgebungen verantwortlich (mehr zu diesen Aspekten eines Stacks im Abschnitt „Eingespielt: Orchestrierungs-Tools für KI/ML-Workloads“ im zweiten Teil dieser Folge).

Darauf setzt dann das eigentliche KI/ML-Framework auf. Dieses lässt sich gegebenenfalls um externe Dienste, Bibliotheken und sonstige anwendungsspezifische Erweiterungen ergänzen, zum Beispiel im Bereich der Bilderkennung oder Sprachanalyse. Erst oberhalb dieser Schicht entstehen die eigentlichen KI/ML-Modelle und -Visualisierungen. Aus welchen Bestandteilen sich ein bestimmter KI/ML-Stack im Einzelnen zusammensetzt, hängt also im Endeffekt von den avisierten Anwendungsszenarien ab.

Aufgebohrt: KI-optimierte Hardware

KI-Algorithmen wie künstliche Neuronale Netze für maschinelles Lernen müssen in der Inferenzphase die anfallenden Datenströme möglichst echtzeitnah verarbeiten, um zu gewährleisten, dass cyber-physische Systeme auch in Situationen mit hoher Ungewissheit und in einem stark individualisierten Kontext autark handeln können.

Neuronale Netze durchlaufen üblicherweise die hierzu erforderliche Trainingsphase, welche die Verarbeitung massiver Big-Data-Bestände voraussetzt, in verteilten Anwendungsarchitekturen in einem voll ausgewachsenen Rechenzentrum. Erst die Inferenzphase kann dann auf dem betreffenden cyberphysischen Edge-System stattfinden, etwa in einer autonomen Drohne.

Im Gegensatz dazu können sich diejenigen lernenden Algorithmen, die rein historische Daten verarbeiten, sich zwar damit generell mehr Zeit lassen, doch für die Entwickler gestaltet sich das Ganze wohl kaum einfacher. Denn in der ursprünglichen Lernphase geht es vorrangig darum, zuvor ungekannte Zusammenhänge in massiven Datenmengen aufzudecken, statt „nur“ vorgegebenen Denkmustern durch iterative Verbesserungen zu folgen. Diese Herangehensweise ist unter dem Namen Deep Learning bekannt.

Konventionelle CPUs sind mit datenlastigen KI-Workloads nach wie vor überfordert. Sie haben ja auch mittlerweile kaum Spielraum, an Leistung zuzulegen, weil sich das Mooresche Gesetz unweigerlich seinem Ende nähert. Der Aufbau eines KI/ML-Stacks setzt daher zwingend geeignete Hardware voraus. Es fragt sich nur, welche.

Eingebettet den Datenhunger sättigen

Bisher stehen Entwicklern von KI/ML-Algorithmen GPUs (Graphic Processing Units) von Nvidia, FPGAs (Field Programmable Gate Arrays) und ASICs wie die TPU (Tensor Processing Units) von Google zur Verfügung.

Was ist neuromorphes Computing?- Was sind neuromorphe Chips?

Hirn im Computer

Was ist neuromorphes Computing?- Was sind neuromorphe Chips?

04.07.19 - Neuromorphes Computing gilt als ein wichtiger Hoffnungsträger für die Bereitstellung von KI/ML-Workloads der Zukunft. Der Begriff Neuromorphes Computing bezeichnet Rechenverfahren, die unter Verwendung von neuromorphen Chips durchgeführt werden. lesen

Wo Hardware zählt: KI mit System

IPUs, DPUs, DLUs und mehr

Wo Hardware zählt: KI mit System

05.03.18 - Wer ernten will, muss säen — auch Künstliche Intelligenz (KI) ist da keine Ausnahme. Der Wettlauf um die schlausten KI-Anwendungen fordert hochperformante Hardware der besonderen Art. Eine CPU ist nicht alles. lesen

Diese und andere KI/ML-optimierte Chip-Architekturen sollen über das Ende des Mooreschen Gesetzes hinaus eine Brücke in die Zukunft schlagen. Welches Gelände sich den KI/ML-Entwicklern auf dem anderen Ende dieser Brücke erschließt, weiß bisher so genau noch keiner. Laut den Analysten von Gartner dürften unter anderem Quanten-Computer und neuromorphische Chips die Nachfolge heutiger Hardwarebeschleuniger und domainspezifischer Prozessoren antreten.

Quanten-Gate-Computer versus Annealer

Probleme, Lösungen, Mathe und Materialien von Quantencomputern

Quanten-Gate-Computer versus Annealer

14.12.18 - Der Fortschritt im Quanten-Computing rollt rasant wie eine Lawine von Elektronenspins die Energielandschaft eines Quanten-Annealers herunter. Alternative Ansätze zum Quanten-Computing reifen heran und drohen, den Platzhirsch von seiner Führungsposition zu guter Letzt zu verdrängen. Denn Quanten-Gate-Computer haben gegenüber analogen und digitalen Quanten-Annealern ein paar Trumpfkarten im Köcher. lesen

Zu den guten Nachrichten zählt der Umstand, dass Unternehmen KI-Stacks aufbauen können, ohne sich erst mit spezialisierter Hardware eindecken zu müssen. Die führenden Cloud-Dienstleister bieten Hardware als ein Service aus der Wolke an. So vermietet beispielsweise Google die zweite und dritte Generation der TPU-Beschleuniger für KI-Modelle auf der Basis von Matrizenberechnungen, gebündelt zu je tausend Stück, über die Google Cloud Platform. Als Vorzeigekunden nennt Google unter anderem die Metro-Gruppe und die Siemens AG.

Hardwarebeschleunigte KI-Dienste der Google Compute Platform nutzen wassergekühlte TPUs der dritten Generation.
Hardwarebeschleunigte KI-Dienste der Google Compute Platform nutzen wassergekühlte TPUs der dritten Generation. (Bild: Google)

Der internationale Spezialist für den Großhandel- und Lebensmitteldirektvertrieb aus Düsseldorf hat seine 100 separaten Buchhaltungssysteme auf SAP-HANA in der Google-Cloud konsolidiert, enthüllt Timo Salzsieder, CIO/CSO der Unternehmensgruppe, bekannt. So könne der Metro-Konzern fortgeschrittene Big-Data-Analysetechniken und KI u. a. zur Optimierung der eigenen Versorgungsketten nutzen.

Google bringt TPU für Inferenz-Rechner heraus

Der KI-Beschleuniger für den Einsatz in LG-Fabriken

Google bringt TPU für Inferenz-Rechner heraus

30.07.18 - Google hat eine „Edge Tensor Processing Unit“ (TPU) für das Edge-Computing angekündigt. Die Application-Specific Integrated Circuits (ASICs) eignen sich für Inferenz-Workloads - nicht für das KI-Training - auf „Tensorflow Lite“, einer Low-Overhead-Version von „Tensorflow“, „Tensorflow Lite“. lesen

Googles Machine-Learning-Chip braucht Flüssigkeit

Die Luft reicht nicht

Googles Machine-Learning-Chip braucht Flüssigkeit

14.05.18 - Die Wärmekapazität von Wasser ist um den Faktor 3.300 und die Wärmeleitfähigkeit in etwa 20-mal höher als die der Luft und eine CPU produziert mehr Wärme als eine handelsübliche Herdplatte. Doch mit Wasser im Rechenzentrum gibt es keine Tier-III-Zertifizierung. Mit Künstlicher Intelligenz steigen die Anforderungen nochmals; das Kühlen können Luftströme nicht mehr leisten. Nun hat Google die Version 3.0 seiner „Tensor Processing Unit“ (TPU) vorgestellt und diese wird flüssig gekühlt. lesen

Der Lebensmittelkonzern lässt seine Daten in die serverlose PaaS-Plattform BigQuery von Google via die Datalab-Infrastruktur einfließen. Hier entstehen unter Verwendung des quelloffenen KI-Frameworks „Tensorflow“ und unter aktiver Mitwirkung der KI-Spezialistin Freiheit.com Technologies GmbH aus Hamburg die eigentlichen ML-Modelle, enthüllt Stefan Richter, Founder and Head of Engineering bei freiheit.com. Die so gewonnenen Erkenntnisse ließen sich dann mithilfe von Google Data Studio in verschiedenen Unternehmensbereichen visualisieren. So lernt die Metro-Gruppe ihre Kunden in Echtzeit kennen.

Branchenspezifische Full-Stack-Fertiggerichte servieren — oder lieber doch selbst backen?

Der GPU-Hersteller NVIDIA hat eine Full-Stack-KI-Plattform für autonome Fahrzeuge im Köcher.
Der GPU-Hersteller NVIDIA hat eine Full-Stack-KI-Plattform für autonome Fahrzeuge im Köcher. (Bild: NVIDIA)

Im Grunde genommen stehen den Unternehmen in Bezug auf die Wahl eines KI-Stacks mehrere diametral unterschiedliche Ansätze offen. Zum einen gibt es branchenspezifische Full-Stack-Umgebungen wie die Drive-Plattform für autonome Fahrzeuge von Nvidia. Das Unternehmen bietet seinen Partnern unter anderem Referenzdesigns, eine Entwicklungsumgebung, eine Simulationsplattform und ein künstliches neuronales Netzwerk zum Trainieren von ML-Fähigkeiten im Bereich der audiovisuellen Wahrnehmung. Nvidia ging bereits strategische Partnerschaften unter anderem mit Audi, Mercedes-Benz und VW ein.

Wer eine solche branchenspezifische KI-Entwicklungsplattform nicht benötigt, kann einen eigenen KI/ML-Stack aus quelloffenen Frameworks wahlweise auf eigener Hardware und/oder — wie die Metro-Gruppe — in der Cloud zusammenstellen (siehe dazu den zweiten Teil des Berichtes „KI/ML-Stacks, Teil 2: die (künstliche) Framework-Intelligenz“).

Viele der beliebtesten quelloffenen Frameworks für Maschinelles Lernen (ML), allen voran Tensorflow, sind bei den großen Cloud-Anbietern als vollständig „gemanagte“ Services verfügbar. Dies senkt die Verwaltungskosten, fördert jedoch die Abhängigkeit von den proprietären Lösungen und den Kompetenzen des jeweiligen Dienstleisters.

Cloud-Dienste trumpfen wiederum mit der Fähigkeit, ihren Nutzern die benötigten Hardwarebeschleuniger bedarfsgerecht und kostengünstig zur Verfügung zu stellen. Amazons KI-Dienst Elastic Inference unterstützt beispielsweise den Einsatz von GPU-Beschleunigern für KI/ML-Workloads des Deep Learnings in der Cloud.

McKinsey Global Institute (MGI) schätzt das Wachstumspotenzial der deutschen Wirtschaft durch KI-Technologien bis zum Jahre 2030 (jährlich 1,3 Prozent) auf etwa 16,7 Prozent. Um dieses Ziel zu erreichen, müssten allerdings 70 Prozent aller Unternehmen bis zum Jahr 2030 KI-Lösungen einsetzen, vor allem in den Bereichen automatische Bilderkennung, natürliche Sprache, virtuelle Assistenten, roboterbasierte Prozessautomatisierung und fortgeschrittenes maschinelles Lernen.

Fazit des Autorenduos

Die Wahl des KI/ML-Stacks ist keine leichte Entscheidung. Um die steile Lernkurve zu überwinden, entscheiden sich einige Firmen für strategische Partnerschaften, andere wählen wiederum den Weg der kleine Schritte, indem sie eine KI/ML-Lösung nach einem eigenen Rezept aus öffentlich verfügbaren KI/ML-Frameworks „backen“ und hierbei auf die Kompetenzen von Infrastrukturdienstleistern und KI/ML-Entwicklungsschmieden zurückgreifen. Wie dem auch sei: An der intelligenten Auswertung von Big Data kommt keiner mehr vorbei.

* Das Autoren-Duo Filipe Pereira Martins und Anna Kobylinska arbeitet für die Soft1T S.a r.l. Beratungsgesellschaft mbH, McKinley Denali Inc. (USA).

Was meinen Sie zu diesem Thema?

Schreiben Sie uns hier Ihre Meinung ...
(nicht registrierter User)

Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
Kommentar abschicken
copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Kontaktieren Sie uns über: support.vogel.de/ (ID: 46126732 / Server)