Zu viel Anpassung taugt nicht Neuronale Netze lernen, wie Menschen, im Schlaf

Autor / Redakteur: Bettina Wegner* / Ulrike Ostler

In einer umfangreichen Studie haben Wissenschaftler der Technischen Universität Ilmenau untersucht, wie die Wirkmechanismen, die es Menschen ermöglichen, Erlerntes im Schlaf zu vertiefen, auf künstliche neuronale Netze übertragen werden können. Sie sagen, dass die Forschungsergebnisse werden dazu beitragen werden, die Leistungsfähigkeit selbstlernender Maschinen drastisch zu erhöhen.

Firma zum Thema

Vereinfachtes Modell lernender biologischer Nervenzellen (s.u.)
Vereinfachtes Modell lernender biologischer Nervenzellen (s.u.)
(Bild: TU Ilmenau)

Erst vor wenigen Jahren konnten Schlafforscher in Experimenten nachweisen, dass der Mensch in der Tiefschlafphase lernt. Die Wissenschaftler bauten auf einer Beobachtung auf, die sie während der Wachphase von Menschen machten: Die Verbindungen zwischen den Nervenzellen, die so genannten Synapsen, lernen nicht nur aktiv, sondern verstärken oder reduzieren auch chemische oder elektrische Signale der Neuronen, der Nervenzellen.

Die Synapsen leiten also Signale nicht nur von Nervenzelle zu Nervenzelle weiter, sondern verstärken auch deren Intensität oder schwächen sie ab. Auf diese Weise versetzen die Synapsen die Neuronen in die Lage, die sich ändernden Einflüsse der Umgebung aufzunehmen und sich ihnen anzupassen.

Im Schlaf normalisiert sich dieser Erregungszustand wieder und das Nervensystem kann die in der aktiven Wachphase aufgenommenen neuen Informationen im Gedächtnis verarbeiten und durch Vergessen zufälliger oder unwichtiger Informationen das Gelernte verfestigen und gleichzeitig für die Aufnahme neuer Informationen empfindlicher werden.

Die Übertragung auf lernende Computer

Auf diesen Vorgang, den Fachleute als synaptische Plastizität bezeichnen, baute Professor Patrick Mäder, Leiter des Fachgebiets Softwaretechnik für sicherheitskritische Systeme der TU Ilmenau, auf: „Die synaptische Plastizität ist für die Funktion und Leistungsfähigkeit unseres Gehirns verantwortlich und damit die Grundlage des Lernens. Würden die Synapsen immer in einem aktivierten Zustand bleiben, würde dies, wie wir aus Tierversuchen wissen, letztlich das Lernen erschweren. Erst die Erholungsphase während des Schlafs macht es möglich, dass wir das, was wir gelernt haben, im Gedächtnis behalten.“

Vereinfachtes Modell lernender biologischer Nervenzellen: Am Ende einer wachen Periode (linke Abbildung) sind synaptische Verbindungen zu Neuronen verstärkt oder abgeschwächt entsprechend dem kurzfristig Erlernten. Gelernte Reize werden in der Schlafperiode (mittlere Abbildung) bewertet und angepasst, dabei werden die entsprechenden synaptischen Verbindungen auf ein mittleres Niveau skaliert. Die letzte Phase (rechte Abbildung) zeigt die angeglichenen Verbindungen zu Beginn der nächsten wachen Periode. Dieser Prozess wurde jetzt auf künstliche neuronale Netze übertragen und steigert deren Leistungsfähigkeit deutlich.
Vereinfachtes Modell lernender biologischer Nervenzellen: Am Ende einer wachen Periode (linke Abbildung) sind synaptische Verbindungen zu Neuronen verstärkt oder abgeschwächt entsprechend dem kurzfristig Erlernten. Gelernte Reize werden in der Schlafperiode (mittlere Abbildung) bewertet und angepasst, dabei werden die entsprechenden synaptischen Verbindungen auf ein mittleres Niveau skaliert. Die letzte Phase (rechte Abbildung) zeigt die angeglichenen Verbindungen zu Beginn der nächsten wachen Periode. Dieser Prozess wurde jetzt auf künstliche neuronale Netze übertragen und steigert deren Leistungsfähigkeit deutlich.
(Bild: TU Ilmenau)

Die Fähigkeit des synaptischen Systems, dynamisch auf unterschiedlichste Reize reagieren zu können und das Nervensystem stabil und im Gleichgewicht zu halten, ahmen die Forscher der TU Ilmenau in künstlichen neuronalen Netzwerken nach. Mithilfe der so genannten synaptischen Skalierung übertragen sie die Mechanismen, die das dynamische System Gehirn regulieren, auf Verfahren des maschinellen Lernens – mit dem Ergebnis, dass sich die künstlichen neuronalen Modelle ähnlich wirkungsvoll verhalten wie ihr natürliches Vorbild.

Anwendungen für solche Maschinen finden sich etwa in der Medizin, wenn mit Hilfe zum Beispiel von EEG- oder Tomographie-Untersuchungen Krankheiten auf der Basis biologischer Daten erkannt werden. Weitere Anwendungsgebiete sind etwa die Smart-Grid-Regelung elektrischer Netze oder die automatisierte Laser-Fertigung.

Nie gut: Überanpassung

Martin Hofmann, Doktorand von Professor Mäder und Co-Autor der Veröffentlichung, erkennt bei Methoden, die für Anwendungen der künstlichen Intelligenz von der Natur entlehnt wurden, ein großes Problem: die so genannte Überanpassung: „Als Überanpassung bezeichnen wir, wenn ein Modell sich bestimmte Muster in den Trainingsdaten gemerkt hat, aber nicht flexibel genug ist, um damit korrekte Vorhersagen zu unbekannten Testdaten zu treffen. Wir suchen daher nach Wegen, wie sich der Überanpassung entgegenwirken lässt und wie wir stattdessen den Mechanismen der Selbstregulierung des Gehirns näherkommen können.“

Die neuen Erkenntnisse der TU Ilmenau eröffnen dem Deep Learning, also dem hocheffizienten maschinellen Lernen, zusätzliche Möglichkeiten.

Die Studie der TU Ilmenau und die entwickelten Methoden, die Selbstregulierungsmechanismen des Gehirns auf neuronale Netzwerke zu übertragen, wurden im hochrangigen Fachjournal „IEEE Transactions on Neural Networks and Learning Systems“ veröffentlicht.

* Bettina Wegner arbeitet im Referat Medien- und Öffentlichkeitsarbeit der Technische Universität Ilmenau.

(ID:47353994)