Neuronale Netze

Ein Neuronales Netz besteht aus vielen Neuronen (engl: units). Ein Neuron hat mehrere gerichtete gewichtete Eingänge von Vorgängerneuronen und einen Ausgang. Übersteigt die Summe der Werte der Eingangsgewichte einen gewissen Schwellwert, so wird das Neuron aktiviert - es feuert - und gibt ein Signal an seinen Ausgang weiter [#!denken!#]. Die Hauptaufgabe eines Neuronalen Netzes besteht darin zu lernen. Dieses wird durch Änderungen in den Gewichten der Neuronen möglich.

Es gibt drei mögliche Arten, wie ein Neuronales Netz lernen kann [#!denken!#]:

Überwachtes Lernen (engl: supervised learning)

- Der vom Benutzer erwünschte Ausgabewert wird mit dem Ausgabewert des Netzes verglichen. Die berechnete Abweichung wird als Fehler an das Netz übermittelt. Ziel ist die Minimierung des Fehlers während des Trainings.

Unüberwachtes Lernen (engl: unsupervised learning)

- Das Netz wird wiederholt mit Eingaben versorgt. Es wird dem Netz selbst überlassen eine Ordnung zu finden. Die SOM arbeitet nach diesem Gesichtspunkt.

Verstärkendes Lernen (engl: reinforcement learning)

- Hier wird dem Netz nur mitgeteilt, ob ein Lernschritt gut oder schlecht war. Da man hier zwar eine Rückgabe an das Netz gibt, aber keine explizite Korrekturanweisung, ist dies eine Mischform aus den beiden anderen Arten.

Die SOM, auch Self-Organizing Feature Map oder selbstorganisierende Karte genannt, ist ein Vertreter des unüberwachten Lernens. Das Konzept der SOM stammt von Teuvo Kohonen [#!KOH_81!#]. Bei der SOM sind die Neuronen in einem zweidimensionalen Gitter, der Karte (engl: map), angeordnet. Jedes Neuron besitzt einen so genannten Gewichtsvektor (engl: weight vector). Da sich die Neuronen nicht im Gitter bewegen können, werden durch den Lernvorgang die Gewichte der Gewichtsvektoren verändert. Die der SOM zugrunde liegende Motivation beschreibt Kohonen selbst folgendermaßen [#!KOH_81!#]:

According to the views acquired by many physiologists and psychologists, the most important task of the brain, in addition to the control of autonomous functions, is to form various kinds of modles or maps of the environment, sensory experiences, as well as even more abstract occurrences. Such an ability would already account for the majority of cognitive and memory processes.

Figure: Architektur einer $4 \times 4$ SOM

Abbildung  zeigt die Architektur einer $4 \times 4$ SOM. Jedes Neuron (Kreis) besitzt einen 4-dimensionalen Gewichtsvektor, dargestellt durch ein $4\times1$ Rechteck. Jedes Neuron ist mit seinen direkten Nachbarn verbunden, dadurch bleiben nachbarschaftliche Beziehungen durch den Lernvorgang (engl: training)erhalten. Die Gewichtsvektoren der SOM und die Eingabevektoren (engl: feature vectors)haben dieselbe Dimension (in Abbildung  beträgt die Dimension 4). Die Dimension der SOM beträgt 2, da jedes Neuron durch Angabe der Spalte und Zeile eindeutig identifiziert werden kann. Dadurch, dass die Eingabevektordimension viel größer sein kann als die des Netzes, ist das Ergebnis eine Abbildung des $n$-dimensionalen Eingaberaumes auf eine 2-dimensionale Karte [#!denken!#].

Lernalgorithmus der SOM [#!bayer!#,#!mer_icnn95.pdf!#,#!mer_softir00.pdf!#,#!denken!#]:

1. Initialisierung der Gewichtsvektoren: Die einzelnen Gewichte der Vektoren werden mit zufälligen Werten befüllt.
2. Zufällige Wahl eines Eingabevektors: Ein beliebiger Vektor aus dem Eingaberaum wird ausgewählt.
3. Ähnlichkeitsberechnung: Der Abstand des Trainingsvektors zu den Gewichtsvektoren wird errechnet.
4. Suche des Neurons mit dem ähnlichsten Gewichtsvektor: Das Gewinnerneuron mit dem minimalen Abstand zum Trainingsvektor wird ermittelt.
5. Adaption des Gewinnerneurons: Beim Training wird der Gewichtsvektor des Gewinnerneurons um die Lernrate (engl: learningrate, learnrate)dem Eingabevektor angeglichen. Bei Lernrate 1 wird der Gewichtsvektor dem Trainingsvektor gleich gesetzt, bei Lernrate 0 erfolgt keine Adaption.
6. Adaption der Nachbarn: In einem durch eine über die Zeit abnehmende Nachbarschaftsfunktion beschriebenen Bereich befindliche Neuronen werden ebenfalls an den präsentierten Eingabevektor angepasst.
7. Adaptionsparameter verringern: Lernrate und Nachbarschaftsradius sinken. Je länger das Training dauert, desto weniger Änderung erhält das Netz.
8. Wiederhole alle Schritte (bis auf den Ersten), bis alle Eingabevektoren der Karte zugewiesen wurden (engl: mapping).

Figure: Training eines Vektors $x(t)$ auf eine $5 \times 5$ SOM

Abbildung  zeigt das Training eines Eingabevektors $x(t)$ aus dem $n$-dimensionalen Eingaberaum (engl: input space) $\mathbf{R}^{n}$ auf eine $5 \times 5$ SOM (engl: output space). Das Neuron $c$ mit Gewichtsvektor $m_{c}(t)$ wird zum Winner, d.h. der Gewichtsvektor $m_{c}(t)$ liegt dem Eingabevektor $x(t)$ am nächsten. Der Gewichtsvektor $m_{c}(t)$ wird nun um die Lernrate in Richtung des Eingabevektors $x(t)$ verschoben und resultiert im neuen Gewichtsvektor $m_{c}(t+1)$. Ist die Lernrate ungleich eins, stimmt der Eingabevektor mit dem adaptierten Gewichtsvektor nicht überein. Der Abstand des Eingabevektors $x(t)$ zum adaptierten Gewichtsvektor $m_{c}(t+1)$ wird daher berechnet. Diese Größe heißt QF (engl: quantisationerror) [#!dit_ijcnn2000.pdf!#] des Vektors $x(t)$ auf Neuron $c$. Zusätzlich zum Gewinnerneuron $c$ (dunkelgrau) werden durch die Nachbarschaftsfunktion angrenzende Neuronen (hellgrau) adaptiert. Durch diese Änderung bilden sich Bereiche (engl: cluster)und die Karte bekommt eine Ausrichtung im Ganzen. Durch diese Adaption der Nachbarn ist die SOM Topologie erhaltend.

Figure: Eine $10 \times10$ SOM mit drei hervorgehobenen Clustern

Abbildung  zeigt beispielhaft das Ergebnis eines SOM Trainings. Die Abbildung zeigt eine Karte einer $10 \times10$ SOM. Im Hintergrund ist die gesamte Karte sichtbar, während am rechten und linken Bildrand drei Cluster vergrößert dargestellt sind. Kapitel  enthält die Karten zu den in dieser Arbeit präsentiertem Verfahren.

Es existieren eine ganze Fülle verwandter Lernalgorithmen. LVQ [#!kohonen!#] besitzt keine Nachbarschaftsfunktion und die Neuronen gehören vorher festgelegten, während des Trainings nicht mehr änderbaren, Klassen an. Da Klasseninformationen in dem hier behandelten Fall allerdings vorher nicht bekannt sind, ist dieser Ansatz hier nicht anzuwenden [#!bayer!#]. Es existieren auch eine ganze Anzahl an Erweiterungen für den eigentlichen SOM Algorithmus. Beim GG [#!blackMiik!#] wird nach einer fixen Anzahl von Trainingsschritten ein neues Neuron hinzugefügt bzw. entfernt. Da Daten oftmalig Hierarchien enthalten, gibt es die HFM um diese abzubilden. Hier werden unabhängige SOMs auf einer Hierarchie trainiert. Da bei der HFM sowohl die Tiefe der Hierarchie als auch die Ausmaße der SOM vor Trainingsbeginn festgelegt werden müssen, wurde die GHSOM entwickelt [#!dit_ijcnn2000.pdf!#]. Die GHSOM unterliegt keiner der beiden Einschränkungen und kann sowohl in die Breite (GG) als auch in die Tiefe (HFM) wachsen.