Optimierungsfunktion im Deep Learning Training Ppt

Folie 1

Auf dieser Folie werden Optimierungsfunktionen als Teil von Deep Learning aufgeführt. Dazu gehören stochastischer Gradientenabstieg, Adagrad, Adadelta und Adam (adaptive Momentschätzung).

Folie 2

Auf dieser Folie heißt es, dass die Konvergenzstabilität des stochastischen Gradientenabstiegs Anlass zur Sorge gibt und dass hier das Problem des lokalen Minimums auftaucht. Da die Verlustfunktionen stark variieren, ist die Berechnung des globalen Minimums zeitaufwändig.

Folie 3

Auf dieser Folie heißt es, dass die Lernrate bei dieser Adagrad-Funktion nicht manuell angepasst werden muss. Der grundlegende Nachteil besteht jedoch darin, dass die Lernrate immer weiter sinkt. Wenn die Lernrate bei jeder Iteration zu stark abnimmt, erfasst das Modell daher keine weiteren Informationen.

Folie 4

Auf dieser Folie heißt es, dass in Adadelta die abnehmende Lernrate gelöst, für jeden Parameter unterschiedliche Lernraten berechnet und der Impuls bestimmt wird. Der Hauptunterschied besteht darin, dass dadurch nicht die einzelnen Impulsniveaus für jeden Parameter gespeichert werden; und Adams Optimierungsfunktion behebt dieses Problem.

Folie 5

Auf dieser Folie wird beschrieben, dass die Konvergenzraten im Adam-Modell im Vergleich zu anderen adaptiven Modellen höher sind. Es wird für adaptive Lernraten für jeden Parameter gesorgt. Da für jeden Parameter der Impuls berücksichtigt wird, wird dies üblicherweise in allen Deep-Learning-Modellen verwendet. Adams Modell ist hocheffizient und schnell.