Computer mit neuromorphen Chips

Erfolge auf dem Weg zu bionischen neuronalen Netzwerken

| Autor / Redakteur: Anna Kobylinska und Filipe Martins* / Ulrike Ostler

Neuronenrechner sollen Neuronen und Synapsen des menschlichen Gehirns nachahmen und: Es gibt Fortschritte.
Neuronenrechner sollen Neuronen und Synapsen des menschlichen Gehirns nachahmen und: Es gibt Fortschritte. (Bild: gemeinfrei: hal-gatewood-405338/ unsplash)

Künstliche Intelligenz hungert nach Rechenleistung. Neuromorphe Chips können diese dank ihrer analogen Datenverarbeitung auf ein ganz neues Niveau heben. Kürzlich gelang deutsch-britischen Wissenschaftlern ein bedeutender Durchbruch mit einem solchen Technikwunder.

KI-Systeme ziehen seit jeher Inspiration aus der Funktionsweise biologischer Systeme. Das ultimative Vorbild stellt bekannterweise das menschliche Gehirn dar. Wer es in Software auf digitalen Chips simulieren wollte, steht jedoch auf verlorenem Posten.

Analoges Computing

Klassische Systemarchitekturen können das menschliche Denkvermögen bisher nur sehr ineffizient abbilden. Denn im Gegensatz zum „echten“ neuronalen Gewebe trennen herkömmliche Computersysteme die Kernfunktionen der Datensicherung und -Verarbeitung rein physisch voneinander. Auch die binäre Denklogik konventioneller Transistoren in Silikon eignet sich kaum zum Simulieren der Komplexität nicht-binärer biochemischer Abläufe.

Bei den künstlichen Neuronalen Netzen, einem der Schlüsselinstrumente des Deep Learning von heute, handelt es sich um Software, welche die Funktionsweise von Neuronen mit Hilfe von mathematischen Berechnungen auf digitalen Chips simulieren soll.

Mike Davies, Direktor des Neuromorphic Computing Lab bei Intel, bezweifelt die Lernfähigkeiten von Algorithmen des Deep learning auf konventionellen digitalen Chips.
Mike Davies, Direktor des Neuromorphic Computing Lab bei Intel, bezweifelt die Lernfähigkeiten von Algorithmen des Deep learning auf konventionellen digitalen Chips. (Bild: Intel)

Mike Davies, Leiter der Neuromorphisch-Sparte von Intel, weist Algorithmen des Tiefen Lernens für digitale Chip-Architekturen als nicht wirklich lernfähig ab. So habe beispielsweise die backpropagation (auf Deutsch: Fehlerrückführung, eine Technik aus der Kategorie überwachter Lernverfahren) rein gar nichts damit zu tun, wie das Gehirn lernen würde, äußerte sich Davies auf der „International Solid State Circuits Conference“ in San Francisco Anfang 2019.

Ergänzendes zum Thema
 
Das Fazit der Autoren

Deep Learning von heute sei aus seiner Sicht nichts anderes als ein Optimierungsverfahren. Backpropagation sei nichts mehr als eine mathematische Technik zum Anpassen der Reaktion künstlicher Neuronen auf Stimuli. (Bei den künstlichen Neuronen handelt es sich in diesem Kontext um eine Simulation der Funktionsweise von Neuronen in Softwarecode, nicht in Materialien.)

Die so genannten Neuronenrechner und neuromorphe Netzwerke sollen bald Abhilfe schaffen (siehe dazu auch den Definitionsartikel: „Hirn im Computer, Was ist neuromorphes Computing?- Was sind neuromorphe Chips? “). Die Forschung in diesem Bereich schreitet in Siebenmeilenstiefeln voran, nicht nur bei Intel. Auch andere etablierte Chip-Schmieden von IBM bis hin zu Qualcomm und Quereinsteiger von Brainchip bis hin zu HRL Laboratories tüfteln an neuromorphen Chips für die analoge Datenverarbeitung.

Diese Technikwunder sollen die Verarbeitungsgeschwindigkeit konventioneller Prozessoren durch integrierte Selbstentscheidungsfähigkeiten verringern. Die nächste Entwicklungsphase fokussiert auf die Erstellung marktreifer SoC für Anwendungen wie die Verarbeitung von Sprache (Qualcomm) oder die Bilderkennung (Intel, IBM).

Der Gedankensprung von Elektronik zu Photonik

Die meisten Implementierungsversuche zur Umsetzung neuromorpher Netzwerke beruhten bisher auf Elektronen. Erschwerend kommt der Umstand hinzu, dass zum Trainieren und Ausführen von neuromorphen Algorithmen heute fast ausschließlich digitale Prozessoren zum Einsatz kommen: CPUs, GPUs, TPUs, FPGAs und ASICs. Die niedrige Energie-Effizienz und die unzureichende Plastizität dieser Systeme stellen bisherige Ansätze ernsthaft in Frage.

Der neuromorphischer Chip „Loihi“ von Intel hat bereits den Weg in Test-Boards gefunden.
Der neuromorphischer Chip „Loihi“ von Intel hat bereits den Weg in Test-Boards gefunden. (Bild: Intel)

Eine vielversprechende Alternative zur großen, kostspieligen und leistungshungrigen digitalen Logik könnte die analoge Datenverarbeitung darstellen, bei der rechenintensive Vorgänge auf spezialisierte Beschleuniger mit analogen Elementen verlagert werden. So ließen sich vorhandene Systeme um den Faktor 1.000 bis 10.000 beschleunigen, äußern IBM-Stimmen.

Eine solche Lösung entwickelt die IBM-Forschungssparte in Zürich mit EU-Mitteln aus dem Projekt ULPEC (im Rahmen von „Horizon 2020“): eine vollständig integrierte Recheneinheit in Silikon Photonik mit der Fähigkeit zur Anwendung von 2D-Inferenzmustern. Das langfristige Ziel besteht in der Entwicklung von fortschrittlichen Bildverarbeitungsanwendungen mit extrem geringem Stromverbrauch und äußerst geringer Latenz.

Mit künstlichen Synapsen soll das Ziel bald in greifbare Nähe rücken. An dem Projekt ist im Übrigen auch die Bosch-Gruppe aktiv beteiligt.

Vernetzt wie ein Gehirn

In konventionellen Systemarchitekturen liegen den Ressourcenklassen Speicher und Compute getrennte Hardware-Implementierungen zu Grunde. So werden die Daten kontinuierlich hin und her „geschaufelt“.

Dieser Aktivismus kostet Zeit und verbraucht Energie. Um Ineffizienzen dieser „Datenlogistik“ auszumerzen reichen iterative Verbesserungen längst nicht mehr aus. Es gilt vielmehr, von technisch überholten Denkweisen Abschied zu nehmen.

Einem deutsch-britischen Forschungsteam an den an den Universitäten Münster, Oxford und Exeter gelang es kürzlich, einen Chip auf der Basis eines Netzwerkes künstlicher Neuronen zu entwickeln, welches die Funktionsweise von natürlichen Neuronen und deren Synapsen im menschlichen Gehirn nachahmen können soll.

Die neuromorphen Chips der Universitäten Münster, Oxford und Exeter sind ungefähr so groß wie eine Ein-Cent-Münze.
Die neuromorphen Chips der Universitäten Münster, Oxford und Exeter sind ungefähr so groß wie eine Ein-Cent-Münze. (Bild: WWU Münster/ Peter Leßmann)

Die Forscher konnten nachweisen, dass ein solches optisch-neurosynaptisches Netzwerk tatsächlich „lernen“ und anschließend eigenständig Muster erkennen kann. Der Chip soll sich in Tests sowohl beim beaufsichtigten als auch beim unbeaufsichtigten Lernen bewährt haben.

Wie funktioniert das?

Das gelungene Experiment kombiniert Lichtwellenleiter, die sich in optische Microchips integrieren lassen, mit phasenwechselnden Materialen. Die Letzteren kommen bereits heute in Speichermedien wie den wiederbeschreibbaren DVDs zum Einsatz. Diese Phasenwechselmaterialien verändern ihre optischen Eigenschaften dramatisch in Abhängigkeit davon, ob sie kristallin (also auf atomarer Ebene ganz regelmäßig organisiert) oder amorph (auf atomarer Ebene unregelmäßig strukturiert) sind.

Der Phasenwechsel eines solchen Materials lässt sich auf eine genau vorhersehbare Art auslösen, unter anderem wenn das Licht eines Lasers es aufwärmt. „Da das Material so stark reagiert und seine Eigenschaften dramatisch verändert, eignet es sich hervorragend zum Nachahmen von Synapsen und zum Übertragen von Impulsen zwischen zwei Neuronen“, sagt der Hauptautor Johannes Feldmann. Feldmann hat viele der Experimente an der WWU Münster im Rahmen seiner Doktorarbeit durchgeführt.

In ihren Experimenten gelang es den Forschern, mehrere nanostrukturierte Phasenwechselmaterialien zu einem solchen neurosynaptischen Netzwerk zu verschmelzen. Die Wissenschaftler entwickelten zuletzt einen Chip aus vier solchen künstlichen Neuronen mit insgesamt 60 Synapsen (zum Vergleich: das menschliche Gehirn verfügt über rund 100 Billionen von Synapsen).

Licht und Wärme

Der Chip macht sich die Wellenlängenmultiplex-Technologie zu Nutze (auch: Wavelength Division Multiple Access, WDMA). Hierbei wird das Licht auf verschiedenen Kanälen in verschiedenen Schichten innerhalb des optischen Nanoschaltkreises übertragen.

Mit Wellenlängenmultiplextechniken gelang es den Forschern, eine skalierbare Schaltungsarchitektur für photonische neuronale Netze zu implementieren. So konnten sie erfolgreich die Mustererkennung direkt im optischen Bereich demonstrieren. Solche photonischen neurosynaptischen Netzwerke versprechen den Zugang zu der hohen Geschwindigkeit und Bandbreite, die optischen Systemen eigen ist, und können so die direkte Verarbeitung von optischen Telekommunikations- und visuellen Daten ermöglichen.

Das ist größtenteils noch alles Neuland. Denn die Forschung rund um den Einsatz optischer Wellenleiter steckt noch in den Kinderschuhen. Umso gewichtiger ist der erzielte Durchbruch.

Neuronen sind ein Bestandteil der neuen Computerarchitekturen; photonische neurosynaptische Netzwerke versprechen hohe Geschwindigkeit und Bandbreite.
Neuronen sind ein Bestandteil der neuen Computerarchitekturen; photonische neurosynaptische Netzwerke versprechen hohe Geschwindigkeit und Bandbreite. (Bild: gemeinfrei: Pixabay)

„Dieses integrierte photonische System ist ein experimenteller Meilenstein“, urteilt Prof. Wolfram Pernice, Gruppenleiter am Exzellenzcluster „Cells in Motion“ an der Westfälischen Wilhelms-Universität Münster (WWU) und federführender Partnerwissenschaftler der Studie. „Der Ansatz ließe sich künftig in vielen verschiedenen Bereichen zur Auswertung von Mustern in großen Datenmengen nutzen“, kommentiert Prof. Wolfram Pernice.

Die Studie wurde in der Ausgabe 569 des Journals „Nature“ veröffentlicht. Da das System nur mit Licht und nicht mit herkömmlichen Elektronen arbeite, könne es die Daten um ein Vielfaches schneller verarbeiten als herkömmliche Chips.

Ein „Denkapparat“ für die nächste Generation von KI: bionische neuronale Netzwerke

Neuromorphe Chips wecken reges Interesse als ein möglicher Hoffnungsträger für die Bereitstellung elastischer KI- und ML-Workloads und so fließen reichlich auch Investitionsgelder in dieses Forschungsgebiet hinein.

Im Rahmen der Neuromorphic Computing Platform des Human Brain Project entsteht unter anderem das BrainScaleS-Projekt der Universität Heidelberg (kurz aus dem Englischen: brain-inspired multiscale computation in neuromorphic hybrid systems).

Professor Katrin Amunts ist Direktorin des Institutes Strukturelle und funktionelle Organisation des Gehirns (INM-1) und leitet die Arbeitsgruppe „Architektonik und Hirnfunktion“.
Professor Katrin Amunts ist Direktorin des Institutes Strukturelle und funktionelle Organisation des Gehirns (INM-1) und leitet die Arbeitsgruppe „Architektonik und Hirnfunktion“. (Bild: Universität Düsseldorf)

Neulich hat das Forschungszentrum Jülich eine Investitionsspritze in Höhe von 36 Millionen Euro für Forschungsprojekte im Bereich des Quanten- und neuromorphen Computing erhalten. Rund 32,4 Millionen Euro von dieser Summe stellt den Wissenschaftlern in Jülich das Bundesministerium für Bildung und Forschung bereit; die restlichen 3,6 Millionen Euro steuert das Ministerium für Kultur und Wissenschaft des Landes Nordrhein-Westfalen bei (denn hier haben sich die Forscher niedergelassen).

Die Forschungsarbeit im Bereich des neuromorphen Computing leitet Professor Dr. med. Katrin Amunts, Direktorin des Instituts für Neurowissenschaften und Medizin (INM) am Forschungszentrum Jülich.

Was meinen Sie zu diesem Thema?
Danke für den Hinweis ;-) Es muss natürlich Silizium und nicht Silikon heißen. Der Lapsus ist wohl...  lesen
posted am 10.07.2019 um 12:46 von ulos

Guten Morgen, wenn die Transistoren in Silikon sind, dann wird das aber ganz schön klebrig ...  lesen
posted am 10.07.2019 um 10:45 von Andreas S.


Mitdiskutieren
copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 45996326 / Server)