Función del optimizador en Ppt de capacitación de aprendizaje profundo

Diapositiva 1

Esta diapositiva enumera las funciones del optimizador como parte del aprendizaje profundo. Estos incluyen descenso de gradiente estocástico, adagrad, adadelta y adam (estimación de momento adaptativo).

Diapositiva 2

Esta diapositiva indica que la estabilidad de la convergencia del Descenso de Gradiente Estocástico es una preocupación, y aquí surge el tema del Mínimo Local. Dado que las funciones de pérdida varían mucho, calcular el mínimo global lleva mucho tiempo.

Diapositiva 3

Esta diapositiva indica que no hay necesidad de ajustar la tasa de aprendizaje con esta función de Adagrad manualmente. Sin embargo, el inconveniente fundamental es que la tasa de aprendizaje sigue cayendo. Como resultado, cuando la tasa de aprendizaje se reduce demasiado en cada iteración, el modelo no adquiere más información.

Diapositiva 4

Esta diapositiva indica que en Adadelta, se resuelve la tasa de aprendizaje decreciente, se calculan distintas tasas de aprendizaje para cada parámetro y se determina el impulso. La principal distinción es que esto no guarda los niveles de impulso individuales para cada parámetro; y la función de optimización de Adam corrige este problema.

Diapositiva 5

Esta diapositiva describe que, en comparación con otros modelos adaptativos, las tasas de convergencia son más altas en el modelo de Adam. Se cuidan las tasas de aprendizaje adaptativo para cada parámetro. Como se tiene en cuenta el impulso para cada parámetro, esto se emplea comúnmente en todos los modelos de aprendizaje profundo. El modelo de Adam es altamente eficiente y rápido.