Kernfunktionen von Deep Learning Training Ppt

Folie 1

Auf dieser Folie werden mehrere Arten von Deep-Learning-Funktionen aufgeführt: Sigmoid-Aktivierungsfunktion, tan-h (Hyperbolic Tangent Function), ReLU (Rectified Linear Units), Verlustfunktionen und Optimiererfunktionen.

Folie 2

Diese Folie gibt einen Überblick über die Sigmoid-Aktivierungsfunktion mit der Formel f(x) = 1/(1+exp (-x)). Die Ausgabe reicht von 0 bis 1. Sie ist nicht auf Null zentriert. Die Funktion hat ein Problem mit dem verschwindenden Gradienten. Bei der Rückausbreitung werden winzige Ableitungen miteinander multipliziert und der Gradient nimmt exponentiell ab, wenn wir uns zu den Startschichten ausbreiten.

Folie 3

Auf dieser Folie heißt es, dass die hyperbolische Tangensfunktion die folgende Formel hat: f(x) = (1-exp(-2x))/(1+exp(2x)). Das Ergebnis liegt zwischen -1 und +1. Es ist auf Null zentriert. Im Vergleich zur Sigmoid-Funktion ist die Optimierungskonvergenz einfach, aber die tan-h-Funktion leidet immer noch unter dem Problem des verschwindenden Gradienten.

Folie 4

Diese Folie gibt einen Überblick über ReLU (Rectified Linear Units). Die Funktion hat den Typ f(x) = max(0,x) i,e 0, wenn x<0, x, wenn x>0. Im Vergleich zur tan-h-Funktion ist die ReLU-Konvergenz größer. Das Problem des verschwindenden Gradienten hat keinen Einfluss auf die Funktion und kann nur innerhalb der verborgenen Schichten des Netzwerks verwendet werden

Folie 5

Auf dieser Folie werden die Arten von Verlustfunktionen als Bestandteil von Deep Learning aufgeführt. Dazu gehören der mittlere absolute Fehler, der mittlere quadratische Fehler, der Scharnierverlust und die Kreuzentropie.

Folie 6

Auf dieser Folie heißt es, dass der mittlere absolute Fehler eine Statistik zur Berechnung der absoluten Differenz zwischen erwarteten und tatsächlichen Werten ist. Teilen Sie die Summe aller absoluten Differenzen durch die Anzahl der Beobachtungen. Große Werte werden nicht so stark bestraft wie der mittlere quadratische Fehler (MSE).

Folie 7

Auf dieser Folie wird beschrieben, dass der MSE ermittelt wird, indem die Quadrate der Differenz zwischen erwarteten und tatsächlichen Werten summiert und durch die Anzahl der Beobachtungen dividiert werden. Es muss darauf geachtet werden, ob der metrische Wert höher oder niedriger ist. Dies ist nur anwendbar, wenn wir unerwartete Werte für Prognosen haben. Wir können uns nicht auf MSE verlassen, da es bei guter Leistung des Modells zunehmen könnte.

Folie 8

Auf dieser Folie wird erläutert, dass die Scharnierverlustfunktion häufig bei Support-Vektor-Maschinen auftritt. Die Funktion hat die Form = max[0,1-yf(x)]. Wenn yf(x)>=0, ist die Verlustfunktion 0, aber wenn yf(x)<0, steigt der Fehler exponentiell an, wodurch falsch klassifizierte Punkte, die weit vom Rand entfernt sind, überproportional bestraft werden. Infolgedessen würde die Ungenauigkeit zu diesen Punkten exponentiell zunehmen.

Folie 9

Auf dieser Folie heißt es, dass es sich bei der Kreuzentropie um eine Protokollfunktion handelt, die Werte im Bereich von 0 bis 1 vorhersagt. Sie bewertet die Wirksamkeit eines Klassifizierungsmodells. Wenn der Wert 0,010 beträgt, ist der Kreuzentropieverlust daher größer und das Modell schneidet bei der Vorhersage schlecht ab.

Folie 10

Auf dieser Folie werden Optimierungsfunktionen als Teil von Deep Learning aufgeführt. Dazu gehören stochastischer Gradientenabstieg, Adagrad, Adadelta und Adam (adaptive Momentschätzung).

Folie 11

Auf dieser Folie heißt es, dass die Konvergenzstabilität des stochastischen Gradientenabstiegs Anlass zur Sorge gibt und dass hier das Problem des lokalen Minimums auftaucht. Da die Verlustfunktionen stark variieren, ist die Berechnung des globalen Minimums zeitaufwändig.

Folie 12

Auf dieser Folie heißt es, dass die Lernrate bei dieser Adagrad-Funktion nicht manuell angepasst werden muss. Der grundlegende Nachteil besteht jedoch darin, dass die Lernrate immer weiter sinkt. Wenn die Lernrate bei jeder Iteration zu stark abnimmt, erfasst das Modell daher keine weiteren Informationen.

Folie 13

Auf dieser Folie heißt es, dass in Adadelta die abnehmende Lernrate gelöst, für jeden Parameter unterschiedliche Lernraten berechnet und der Impuls bestimmt wird. Der Hauptunterschied besteht darin, dass dadurch nicht die einzelnen Impulsniveaus für jeden Parameter gespeichert werden; und Adams Optimierungsfunktion behebt dieses Problem.

Folie 14

Auf dieser Folie wird beschrieben, dass die Konvergenzraten im Adam-Modell im Vergleich zu anderen adaptiven Modellen höher sind. Es wird für adaptive Lernraten für jeden Parameter gesorgt. Da für jeden Parameter der Impuls berücksichtigt wird, wird dies üblicherweise in allen Deep-Learning-Modellen verwendet. Adams Modell ist hocheffizient und schnell.