STPD-Schaltkreise und neuronale Plastizität

In biologischen neuronalen Netzen werden Impulse durch das sogenannte Aktionspotential übertragen, eine vorübergehende charakteristische Abweichung des Membranpotentials einer Zelle von ihrem Ruhepotential. Eine Kette solcher Aktionspotenziale, die sogenannte Spannungsspur (englisch: spike train) kann durch die Länge der Zeitintervalle die Plastizität des neuronalen Netzes beeinflussen. Hierbei ist von der so genannten Spike-Timing-abhängigen Plastizität die Rede.

Erfolgt die Eingabe eines Impulses in ein Neuron hinein unmittelbar vor der Ausgabe aus diesem Neuron, verändert sich das neuronale Netzwerk auf eine Art und Weise, welche diese Eingabe verstärkt. Tritt die Eingabe in ein Neuron aber nach der Ausgabe auf, verändern sich die Verbindungen im neuronalen Netzwerk so, dass diese Eingabe eingedämmt wird.

Ein Schaltkreis, welches sich dieses Phänomen zu Nutze macht, wird mit dem Kürzel STDP bezeichnet (englisch: spike-timing-dependent plasticity circuit).

Da ein Neuron eine Ausgabespitze erzeugt, wenn viele seiner Eingaben innerhalb einer kurzen Zeitspanne auftreten, bleiben im Zuge dieser Optimierung nur Eingaben übrig, die zeitlich zusammengehörig auftreten (und somit auf eine Korrelation hindeuten). Da das neuronale Netzwerk durch seine Plastizität diejenigen Eingaben, die vor der Ausgabe auftreten, verstärkt, verwandeln sich diejenigen Eingaben, die den frühesten Hinweis auf eine Korrelation liefern, im Laufe der Zeit zur endgültigen Eingabe für das Neuron. Künstliche neuronale Netze „lernen“ hierbei durch die geänderte Gewichtung der Synapsen.

Inzwischen sind mehrere Ansätze entstanden, welche die Plastizität neuronaler Netze durch neuromorphes Computing nachahmen. Zu den interessantesten Implementierungen zählen die sehr unterschiedlichen Systeme „Spinnaker“ aus Manchester und „Brainscale S“ aus Heidelberg.

Beide diese neuromorphen Supercomputer werden im Rahmen des „Human Brain Project“ der Europäischen Union (HBP) gefördert.

Spinnaker

Bei SpiNNaker handelt es sich um eine massiv parallele Computerarchitektur, die konventionelle Multikern-Prozessoren auf der Basis der ARM-Architektur in einem paketbasierten Netzwerk miteinander verschaltet, um den Austausch von Aktionspotenzialen zu simulieren. SpiNNaker schöpft so Anleihen bei der grundlegenden Struktur und Funktionsweise des menschlichen Gehirns.

Die aktuelle Implementierung (NM-MC-1) nutzt insgesamt eine Million Kerne (zu je 18 pro Prozessor mit je 128 MB RAM gemeinsam genutzten Speicher). Das System wurde am 2. November 2018 in Manchester im Vereinigten Königreich in Betrieb genommen.

Brainscale S

Die physikalische Maschine Brainscale S (NM-PM1) modelliert vier Millionen Neuronen und eine Milliarde Synapsen auf 20 Siliziumwafern mit analogen oder gemischten elektronischen Impulsen mit digitaler Konnektivität. Das System versteht sich als ein Beschleuniger. Brainscale S steht in Heidelberg, Baden-Württemberg.

Simulationen auf herkömmlichen Supercomputern sind in der Regel 1000-mal langsamer als die Biologie und können nicht auf die sehr unterschiedlichen Zeitskalen für Lernen und Entwicklung zugreifen, die von Millisekunden bis zu Jahren reichen. Im Gegensatz dazu zeichnen sich neuromorphe Maschinen durch eine beachtenswerte Geschwindigkeit in der Ausführung.

Das Spinnaker-System rechnet in Echtzeit. Brainscale S arbeitet 10.000-mal in Echtzeit. Beide Maschinen bieten Wissenschaftlern eine umfassende Software-Unterstützung für die Konfiguration, den Betrieb und die Datenanalyse. Die meisten Nutzer sind Doktoranden und Post-Docs.

„Es ist wichtig zu verstehen, dass diese Maschinen keine herkömmlichen Computer sind“, pflegte Prof. Karlheinz Meier zu sagen, der im Oktober 2018 verstorbene langjährige Projektleiter der neuromorphischen Plattform.

eBook „High Performance Computing“

Weiterführende Information im eBook von DataCenter-Insider zum High Performance Computing. HPC versteht sich nicht nur als der Motor zukunftsweisender Grundlagenforschung, sondern auch als ein Leistungsträger handfester praktischer Industrieanwendungen. HPC hat daher eine zentrale Bedeutung für die Wahrung der Wettbewerbsfähigkeit der deutschen wie auch europäischen Industrie und des deutschen Forschungssystems. (PDF | ET 21.06.2017)

eBook herunterladen »

Neuromorphe Chips auf der Basis von Memristoren in CMOS-Technik

Zu den ersten Implementierungen neuromorphischen Computings zählt die Ausführung von neuronalen Chips mit synaptischer Elektronik auf der Basis von integrierten CMOS-Memristoren (zu Memristoren siehe auch den Bericht im E-Book: „High Performance Computing“). Diese Chips arbeiten nur zum Teil analog.

Ein solcher Chip setzt sich aus Kernen zusammen, die über je eine Front-End-Verarbeitungseinheit mit einem neuromorphischen Compiler, eine digitale Speichereinheit, einen analogen Rechenkern und einen analogen Speicher verfügen. Der analoge Rechenkern setzt sich aus Neuronen, Synapsen und den so genannten STPD-Schaltkreisen zusammen.

Der analoge Speicher besteht aus einem integrierten Array von CMOS-Memristoren, welcher die synaptische Leitfähigkeit erfassen und in den Memristoren aufbewahren kann. Die Kommunikationsschnittstelle zwischen dem Memristor-Array und dem analogen Rechenkern bilden verschiedene CMOS-Schaltkreise, darunter Multiplexer- (MUX), Analog-Digital- (ADC) und Digital-Analog-Schaltkreise (DAC).

Die Neuroplastizität eines solchen Chips beruht in seiner Fähigkeit, sich zwischen den einzelnen Zeitintervallen der Datenverarbeitung für jede neue Aktivität neu zu konfigurieren.

Die Funktionsweise

Der neuromorphische Compiler konfiguriert hierzu erst einmal den digitalen Speicher einzeln für jede bevorstehende Datenverarbeitungsaktivität. Der digitale Speicher steht dann in Wechselwirkung mit dem analogen Rechenkern, aber auch nur im Rahmen der aktuellen Datenverarbeitungsaufgabe. Der Rechenkern überträgt die synaptischen Leitfähigkeiten auf den Memristor-Array und/oder ruft diese davon ab.

Die Kommunikation zwischen den einzelnen Verarbeitungsknoten erfolgt durch speziell programmierbare Kanäle und ist unabhängig von der physischen Entfernung dieser Elemente voneinander.

Leistungsmerkmale neuromorpher Chips

Während in Von-Neumannschen Architekturen konventioneller Computersysteme die Verarbeitungslogik und die Datenaufbewahrung voneinander getrennt sind, verschmelzen neuromorphe Chips beide diese Funktionen miteinander. Während in Von-Neumannschen Architekturen die aufgabenspezifische Funktionalität eines Systems in Software statt in Hardware umgesetzt ist, weisen neuromorphe Chips eine hohe Flexibilität im Rahmen einer engen Spezialisierung auf Hardware-Ebene auf; die jeweilige Ausführung eines neuromorphen Chips ist auf die jeweilige Aufgabe hin zugeschnitten, behält jedoch im Rahmen dieser Spezialisierung ihre elastische Anpassungsfähigkeit bei.

Neuromorphe Chips zeichnen sich gegenüber herkömmlichen Chips durch eine hohe Energie-Effizienz und einen geringen Platzbedarf aus. Dadurch bieten sie sich für die Entwicklung von multidimensionalen Wahrnehmungssystemen, zum Beispiel in der Autobranche und in der Robotik geradezu an.

Rechnerplattformen für Künstliche Intelligenz

Spezialisten und Generalisten: Deep-Learning mit Fujitsus DLU und Post-K

Bei den künstlichen Neuronalen Netzen, einem der Schlüsselinstrumente des Deep Learning von heute, handelt es sich im Übrigen um Software, welche die Funktionsweise von Neuronen mit Hilfe von mathematischen Berechnungen auf digitalen Chips simulieren soll. In der digitalen Ausführung ist Tiefes Lernen ineffizient und langsam — sowohl in der Training- als auch in der Inferenzphase.

Die Energie-Effizienzvorteile von neuromorphen Chips gegenüber herkömmlichen digitalen Chips lassen sich zum Teil auf die Tatsache zurückführen, dass klassische Chips im Großen und Ganzen auf eine feste Spannung angewiesen sind, was eine hohe Verlustleistung zur Folge hat. Neuromorphe Chips sind von dem Problem nicht betroffen.

* Das Autorenduo Anna Kobylinska und Filipe Pereira Martins arbeitet für McKinley Denali Inc. (USA)

(ID:46003348)