Variable Netzgröße
- Analyse von kleinen Feed-Forward-Netzen bis zu großen Feed-Forward-Netzen
- Qualitätsanalyse der Netze
- Veranschaulichung der Graphen
- Einschätzung der Cases
Folgende Tests werden mit 25 Epochen trainiert.
Mit einem kleinem Netz von einem Hidden Layer der Größe 8 bekommt man sehr einseitig gute Auswertungen.
Loss Funktion:
Gut erkennbar ist, dass die x-loss gar nicht mehr abnimmt.
y-prediction:
Auch die y-prediction ist relativ ungenau.
Loss Funktion:
Diese Auswertung ist auf den ersten Blick besser, allerdings erkennt man auch hier, dass die losses hier in den ersten Epochen konstant sind. Bei einer Größe von 32 auf einem Layer braucht das Neuronale Netz länger zum lernen.
Am Beispiel von y sind die predictions am Test durch den schwierigen Lernprozess schlecht bis falsch.
allerdings predicted er hier beide Variablen und nicht wie vorherigen Beispiel nur eines der beiden.
Da die Größe von 32 nur leichte Verbesserungen auf einem Layer vorweist, wird im Folgendem die Layerzahl erhöht.
Loss Funktion:
Hier erkennt man einen besseren Lernprozess des Neuronalen Netzes.
Die Predictions sind nicht mehr so verstreut, allerdings sind sie auch nicht deutlich besser.
Auch die Punkteverteilung im insgesamten mangelt es an der Prediction der Punkte an den Rändern.
Erhöht man die Zahl der Layergrößen weiter, erkennt man nun eine klassische Lernkurve.
Die losses konvergieren hier gegen 0, durch welche man nun eine gute Evaluierung erwarten kann.
Die Predictions sind deutlich näher am Erwartungswert.
Die Randpunkte können besser geschätzt werden.
Die Loss Funktion ist hier deutlich besser dargestellt, denn die Ebene der Darstellung ist auf einem deutlich kleinerem Bereich. Bedeutet in diesem Fall, dass das Netz hier deutlich schneller gelernt hat. Auf Laufzeit der Epochen konvergiert auch dieser gegen 0.
Die Predictions sind nahezu genau mit einer gewissen Varianz geschätzt.
Zum kurzen Anschneiden ein Vergleich der Lossfunktionen zwischen den vorherigen Beispielen, von 3 Layers & 128 Neurons und 3 Layers & 500 Neurons:
3 Layers & 128 Neurons
3 Layers & 500 Neurons
Wir erwarten hier einen output der Dimensionsgröße, in diesem Fall zwei. Mit einem Layer hat man Schwierigkeiten gesehen, diese zu predicten. bei einem kleinem Layer war es sogar wahrscheinlich, dass er nur einen output richtig predicten kann.
Mit zwei Layern waren die Auswertungen feingranularer, allerdings mit kleinen Layern immer noch ungenau.