Hirn im Computer

Was ist neuromorphes Computing?- Was sind neuromorphe Chips?

| Redakteur: Ulrike Ostler

Der rote Faden: Abgebildet ist das neuromorphe Rechnersystem aus Heidelberg „Brainscale S“, ausgelegt für 20 Wafer-Module, 3.932.160 Neuronen und 880.803.840 Synapsen .
Der rote Faden: Abgebildet ist das neuromorphe Rechnersystem aus Heidelberg „Brainscale S“, ausgelegt für 20 Wafer-Module, 3.932.160 Neuronen und 880.803.840 Synapsen . (Bild: / Universität Heidelberg / CC BY-ND 4.0)

Neuromorphes Computing gilt als ein wichtiger Hoffnungsträger für die Bereitstellung von KI/ML-Workloads der Zukunft. Der Begriff Neuromorphes Computing bezeichnet Rechenverfahren, die unter Verwendung von neuromorphen Chips durchgeführt werden.

Bei neuromorphen Chips handelt es sich um analoge Recheneinheiten, welche nach dem Vorbild des menschlichen Gehirns lernen (siehe hierzu auch: „KI im Rechenzentrum“ und dabei die Plastizität eines biologischen Nervensystems nachahmen.

Eines der erklärten Ziele der Forschung im Bereich des neuromorphen Computings besteht darin, die selbstorganisierende und selbstregulierende Natur des Gehirns in Schaltkreisen wie auch in Materialien abzubilden - daher die Bezeichnung „neuromorph“). Dadurch sollen neuromorphe Systeme auch solche Problemstellungen lösen können, für die sie nicht programmiert wurden. Sie sollen darüber hinaus in der Lage sein, ihre Leistung im laufenden Einsatz entsprechend den Anforderungen zu optimieren.

Die ursprüngliche Idee der neuromorphen Chips geht auf eine Arbeit von Caltech-Professor Carver Mead aus dem Jahre 1990 zurück. In einer Veröffentlichung schlug Mead analoge Chips vor, welche (im Gegensatz zu binär rechnenden digitalen Chips) die elektrische Aktivität von Neuronen und Synapsen im menschlichen Gehirn nachahmen sollten.

Aktuelle Implementierungen von neuromorphen Chips können die von Mead avisierte Simulation des menschlichen Gehirns durch künstliche neurosynaptische Netzwerke umsetzen, die mit Elektronen oder mit Photonen betrieben werden (siehe dazu auch den Bericht „Computer mit neuromorphen Chips, Erfolge auf dem Weg zu bionischen neuronalen Netzwerken“ (erscheint in Kürze).

STPD-Schaltkreise und neuronale Plastizität

In biologischen neuronalen Netzen werden Impulse durch das sogenannte Aktionspotential übertragen, eine vorübergehende charakteristische Abweichung des Membranpotentials einer Zelle von ihrem Ruhepotential. Eine Kette solcher Aktionspotenziale, die sogenannte Spannungsspur (englisch: spike train) kann durch die Länge der Zeitintervalle die Plastizität des neuronalen Netzes beeinflussen. Hierbei ist von der so genannten Spike-Timing-abhängigen Plastizität die Rede.

Mit Spannung erwartet: So manifestiert sich ein spitzendes elektronisches BrainScaleS-Neuron auf einem Oszilloskop
Mit Spannung erwartet: So manifestiert sich ein spitzendes elektronisches BrainScaleS-Neuron auf einem Oszilloskop (Bild: Universität Heidelberg / CC BY-ND 4.0)

Erfolgt die Eingabe eines Impulses in ein Neuron hinein unmittelbar vor der Ausgabe aus diesem Neuron, verändert sich das neuronale Netzwerk auf eine Art und Weise, welche diese Eingabe verstärkt. Tritt die Eingabe in ein Neuron aber nach der Ausgabe auf, verändern sich die Verbindungen im neuronalen Netzwerk so, dass diese Eingabe eingedämmt wird.

Ein Schaltkreis, welches sich dieses Phänomen zu Nutze macht, wird mit dem Kürzel STDP bezeichnet (englisch: spike-timing-dependent plasticity circuit).

Da ein Neuron eine Ausgabespitze erzeugt, wenn viele seiner Eingaben innerhalb einer kurzen Zeitspanne auftreten, bleiben im Zuge dieser Optimierung nur Eingaben übrig, die zeitlich zusammengehörig auftreten (und somit auf eine Korrelation hindeuten). Da das neuronale Netzwerk durch seine Plastizität diejenigen Eingaben, die vor der Ausgabe auftreten, verstärkt, verwandeln sich diejenigen Eingaben, die den frühesten Hinweis auf eine Korrelation liefern, im Laufe der Zeit zur endgültigen Eingabe für das Neuron. Künstliche neuronale Netze „lernen“ hierbei durch die geänderte Gewichtung der Synapsen.

Millionärin: Seit dem 2 November 2018 kann die „Spinnaker“-Maschine in Manchester eine Million Kerne „einspannen“.
Millionärin: Seit dem 2 November 2018 kann die „Spinnaker“-Maschine in Manchester eine Million Kerne „einspannen“. (Bild: The University of Manchester / CC BY-ND 4.0)

Inzwischen sind mehrere Ansätze entstanden, welche die Plastizität neuronaler Netze durch neuromorphes Computing nachahmen. Zu den interessantesten Implementierungen zählen die sehr unterschiedlichen Systeme „Spinnaker“ aus Manchester und „Brainscale S“ aus Heidelberg.

Beide diese neuromorphen Supercomputer werden im Rahmen des „Human Brain Project“ der Europäischen Union (HBP) gefördert.

Spinnaker

Bei SpiNNaker handelt es sich um eine massiv parallele Computerarchitektur, die konventionelle Multikern-Prozessoren auf der Basis der ARM-Architektur in einem paketbasierten Netzwerk miteinander verschaltet, um den Austausch von Aktionspotenzialen zu simulieren. SpiNNaker schöpft so Anleihen bei der grundlegenden Struktur und Funktionsweise des menschlichen Gehirns.

Die aktuelle Implementierung (NM-MC-1) nutzt insgesamt eine Million Kerne (zu je 18 pro Prozessor mit je 128 MB RAM gemeinsam genutzten Speicher). Das System wurde am 2. November 2018 in Manchester im Vereinigten Königreich in Betrieb genommen.

Brainscale S

Die physikalische Maschine Brainscale S (NM-PM1) modelliert vier Millionen Neuronen und eine Milliarde Synapsen auf 20 Siliziumwafern mit analogen oder gemischten elektronischen Impulsen mit digitaler Konnektivität. Das System versteht sich als ein Beschleuniger. Brainscale S steht in Heidelberg, Baden-Württemberg.

Auf den Punkt gebracht: Dieser 20 Zentimeter große „Brainscale S“-Wafer, hier sichtbar in seiner Halterung vor dem Post-Processing, bringt es auf 196.608 Punktneuronen und 44.040.192 Synapsen.
Auf den Punkt gebracht: Dieser 20 Zentimeter große „Brainscale S“-Wafer, hier sichtbar in seiner Halterung vor dem Post-Processing, bringt es auf 196.608 Punktneuronen und 44.040.192 Synapsen. (Bild: Universität Heidelberg / CC BY-ND 4.0)

Simulationen auf herkömmlichen Supercomputern sind in der Regel 1000-mal langsamer als die Biologie und können nicht auf die sehr unterschiedlichen Zeitskalen für Lernen und Entwicklung zugreifen, die von Millisekunden bis zu Jahren reichen. Im Gegensatz dazu zeichnen sich neuromorphe Maschinen durch eine beachtenswerte Geschwindigkeit in der Ausführung.

Das Spinnaker-System rechnet in Echtzeit. Brainscale S arbeitet 10.000-mal in Echtzeit. Beide Maschinen bieten Wissenschaftlern eine umfassende Software-Unterstützung für die Konfiguration, den Betrieb und die Datenanalyse. Die meisten Nutzer sind Doktoranden und Post-Docs.

„Es ist wichtig zu verstehen, dass diese Maschinen keine herkömmlichen Computer sind“, pflegte Prof. Karlheinz Meier zu sagen, der im Oktober 2018 verstorbene langjährige Projektleiter der neuromorphischen Plattform.

eBook „High Performance Computing“

High Performance Computing Weiterführende Information im eBook von DataCenter-Insider zum High Performance Computing. HPC versteht sich nicht nur als der Motor zukunftsweisender Grundlagenforschung, sondern auch als ein Leistungsträger handfester praktischer Industrieanwendungen. HPC hat daher eine zentrale Bedeutung für die Wahrung der Wettbewerbsfähigkeit der deutschen wie auch europäischen Industrie und des deutschen Forschungssystems. (PDF | ET 21.06.2017)

eBook herunterladen »

Neuromorphe Chips auf der Basis von Memristoren in CMOS-Technik

Zu den ersten Implementierungen neuromorphischen Computings zählt die Ausführung von neuronalen Chips mit synaptischer Elektronik auf der Basis von integrierten CMOS-Memristoren (zu Memristoren siehe auch den Bericht im E-Book: „High Performance Computing“). Diese Chips arbeiten nur zum Teil analog.

Beispieldiagramm für die Umsetzung eines neuromorphischen Chips (links) mit der symbolischen Darstellung eines Knotens und seines Rechenkerns.
Beispieldiagramm für die Umsetzung eines neuromorphischen Chips (links) mit der symbolischen Darstellung eines Knotens und seines Rechenkerns. (Bild: Intel)

Ein solcher Chip setzt sich aus Kernen zusammen, die über je eine Front-End-Verarbeitungseinheit mit einem neuromorphischen Compiler, eine digitale Speichereinheit, einen analogen Rechenkern und einen analogen Speicher verfügen. Der analoge Rechenkern setzt sich aus Neuronen, Synapsen und den so genannten STPD-Schaltkreisen zusammen.

Der analoge Speicher besteht aus einem integrierten Array von CMOS-Memristoren, welcher die synaptische Leitfähigkeit erfassen und in den Memristoren aufbewahren kann. Die Kommunikationsschnittstelle zwischen dem Memristor-Array und dem analogen Rechenkern bilden verschiedene CMOS-Schaltkreise, darunter Multiplexer- (MUX), Analog-Digital- (ADC) und Digital-Analog-Schaltkreise (DAC).

Die Neuroplastizität eines solchen Chips beruht in seiner Fähigkeit, sich zwischen den einzelnen Zeitintervallen der Datenverarbeitung für jede neue Aktivität neu zu konfigurieren.

Die Funktionsweise

Der neuromorphische Compiler konfiguriert hierzu erst einmal den digitalen Speicher einzeln für jede bevorstehende Datenverarbeitungsaktivität. Der digitale Speicher steht dann in Wechselwirkung mit dem analogen Rechenkern, aber auch nur im Rahmen der aktuellen Datenverarbeitungsaufgabe. Der Rechenkern überträgt die synaptischen Leitfähigkeiten auf den Memristor-Array und/oder ruft diese davon ab.

Die Kommunikation zwischen den einzelnen Verarbeitungsknoten erfolgt durch speziell programmierbare Kanäle und ist unabhängig von der physischen Entfernung dieser Elemente voneinander.

Leistungsmerkmale neuromorpher Chips

Während in Von-Neumannschen Architekturen konventioneller Computersysteme die Verarbeitungslogik und die Datenaufbewahrung voneinander getrennt sind, verschmelzen neuromorphe Chips beide diese Funktionen miteinander. Während in Von-Neumannschen Architekturen die aufgabenspezifische Funktionalität eines Systems in Software statt in Hardware umgesetzt ist, weisen neuromorphe Chips eine hohe Flexibilität im Rahmen einer engen Spezialisierung auf Hardware-Ebene auf; die jeweilige Ausführung eines neuromorphen Chips ist auf die jeweilige Aufgabe hin zugeschnitten, behält jedoch im Rahmen dieser Spezialisierung ihre elastische Anpassungsfähigkeit bei.

Schnell im Umlauf: Prototyp des neuromorphischen BrainScaleS-Chips der zweiten Generation vor der Kulisse einer Ein-Euro-Münze.
Schnell im Umlauf: Prototyp des neuromorphischen BrainScaleS-Chips der zweiten Generation vor der Kulisse einer Ein-Euro-Münze. (Bild: Universität Heidelberg / CC BY-ND 4.0)

Neuromorphe Chips zeichnen sich gegenüber herkömmlichen Chips durch eine hohe Energie-Effizienz und einen geringen Platzbedarf aus. Dadurch bieten sie sich für die Entwicklung von multidimensionalen Wahrnehmungssystemen, zum Beispiel in der Autobranche und in der Robotik geradezu an.

Spezialisten und Generalisten: Deep-Learning mit Fujitsus DLU und Post-K

Rechnerplattformen für Künstliche Intelligenz

Spezialisten und Generalisten: Deep-Learning mit Fujitsus DLU und Post-K

02.08.17 - Der KI-Veteran und Deep Learning-Vorreiter Fujitsu möchte mit einer neuartigen Prozessorarchitektur, der „DLU“, die Pro-Watt-Leistung tiefer neuronaler Netze auf einmal verzehnfachen. Ein Nachfolger des „K“-Computers, getauft auf die Bezeichnung „Post-K“, soll zugleich das wahre Leistungspotenzial von „Fujitsu Tofu Interconnect“ in einer erweiterten Ausführung unter Beweis stellen. lesen

Bei den künstlichen Neuronalen Netzen, einem der Schlüsselinstrumente des Deep Learning von heute, handelt es sich im Übrigen um Software, welche die Funktionsweise von Neuronen mit Hilfe von mathematischen Berechnungen auf digitalen Chips simulieren soll. In der digitalen Ausführung ist Tiefes Lernen ineffizient und langsam — sowohl in der Training- als auch in der Inferenzphase.

Miniaturisierung: „Intel Kapoho Bay“, ein portables System auf der Basis des neuromorphen Chips „Loihi“ von Intel, passt in das Gehäuse eines USB-Sticks. Intel Loihi kann beispielsweise die Eingabe aus Kameras verarbeiten.
Miniaturisierung: „Intel Kapoho Bay“, ein portables System auf der Basis des neuromorphen Chips „Loihi“ von Intel, passt in das Gehäuse eines USB-Sticks. Intel Loihi kann beispielsweise die Eingabe aus Kameras verarbeiten. (Bild: Intel)

Die Energie-Effizienzvorteile von neuromorphen Chips gegenüber herkömmlichen digitalen Chips lassen sich zum Teil auf die Tatsache zurückführen, dass klassische Chips im Großen und Ganzen auf eine feste Spannung angewiesen sind, was eine hohe Verlustleistung zur Folge hat. Neuromorphe Chips sind von dem Problem nicht betroffen.

* Das Autorenduo Anna Kobylinska und Filipe Pereira Martins arbeiten für McKinley Denali Inc. (USA)

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Kontaktieren Sie uns über: support.vogel.de/ (ID: 46003348 / Definitionen)