Ob Maus, Katze oder Mensch: Noch bevor Wirbeltiere ihre Augen öffnen, läuft auf der Retina bereits ein Trainingsprogramm ab, das komplett ohne Reize von außen auskommt. Hierfür breiten sich spontane Aktivitätsmuster wellenförmig auf dem Nervengewebe des Auges aus. Diese „retinalen Wellen“ genannte Aktivität der Nervenzellen koordiniert die frühe Verschaltung der Netzhaut mit dem visuellen System des Gehirns. Das Auge übt sich also im Sehen, bevor es mit dem eigentlichen Lerngegenstand in Kontakt kommt.
Forschende der TUM konnten nun nachweisen, dass auch künstliche neuronale Netzwerke, die die Funktionsweise des Gehirns nachahmen, von dieser Art Prä-Training profitieren können. „Das Training künstlicher neuronaler Netzwerke findet klassischerweise mit Daten statt, die der Aufgabe, die das Netzwerk erfüllen soll, sehr ähnlich sind. Wenn man dies analog zur Entwicklung des Sehsinns von Lebewesen betrachtet, startet ihr Lernprozess erst im Moment des Augenöffnens. Wir haben uns deshalb von der Natur inspirieren lassen und haben ein Prä-Training integriert, das dem biologischen visuellen System entspricht“, sagt Julijana Gjorgjieva, Professorin für Computational Neurosciences an der TUM.
Prä-Training macht schneller und präziser
Im ersten Schritt untersuchte das Team, ob das Training mit den retinalen Wellen die Leistung eines neuronalen Netzwerks überhaupt beeinflusst. Hierfür trainierten die Forschenden Netzwerke auf unterschiedliche Arten: Ein Teil der Netzwerke durchlief ein Prä-Training mit retinalen Wellen einer Maus. Anschließend wurden sie mit einem Animationsfilm trainiert, der die Sicht einer simulierten Maus zeigt, die durch einen engen Korridor mit unterschiedlichen geometrischen Mustern an den Wänden rennt. Bei weiteren Netzwerken kam im Training nur der Animationsfilm zum Einsatz – auf das Prä-Training wurde verzichtet.
Die Aufgabe, die die Netzwerke im Anschluss bewältigen mussten, war für alle gleich: Sie mussten korrekt vorhersagen, wie sich das Muster an den Wänden des simulierten Korridors weiterentwickeln wird. Die mit retinalen Wellen trainierten Netzwerke bewältigten die Aufgabe präziser und schneller als jene, die ohne retinale Wellen trainiert worden waren. Um auszuschließen, dass die besseren Ergebnisse auf die längere Trainingsdauer zurückzuführen sind, passte das Team diese in einem weiteren Durchlauf an und reduzierte die Zeit, in der die prä-trainierten Netzwerke mit dem Animationsfilm vorbereitet wurden. Die gesamte Trainingszeit war somit für alle Netzwerke gleich. Die prä-trainierten Netzwerke stachen die anderen weiterhin in Geschwindigkeit und Präzision aus.
Auch bei Real-Filmen bessere Performance
In einem weiteren Schritt erhöhte das Team den Schwierigkeitsgrad: Die Forschenden trainierten die Netzwerke nun mit einem realen Video, das aus der Perspektive einer umherstreifenden Katze mit einer Action-Cam aufgenommen wurde und zeigt, was die Katze sieht. Die Bildqualität dieser Aufnahmen ist schlechter als die im Animationsfilm und die gezeigten Bewegungen sind komplexer. Dennoch übertrumpften auch hier die mit retinalen Wellen prä-trainierten Netzwerke den Rest.
