Função do otimizador no treinamento de aprendizado profundo Ppt

Slide 1

Este slide lista as funções do otimizador como parte do Deep Learning. Estes incluem descida de gradiente estocástico, adagrad, adadelta e adam (estimativa de momento adaptativo).

Slide 2

Este slide afirma que a estabilidade de convergência da Descida do Gradiente Estocástico é uma preocupação, e a questão do Mínimo Local surge aqui. Com as funções de perda variando muito, calcular o mínimo global é demorado.

Slide 3

Este slide informa que não há necessidade de ajustar a taxa de aprendizado com esta função Adagrad manualmente. No entanto, a desvantagem fundamental é que a taxa de aprendizado continua a cair. Como resultado, quando a taxa de aprendizado diminui muito a cada iteração, o modelo não adquire mais informações.

Slide 4

Este slide afirma que em Adadelta, a taxa de aprendizado decrescente é resolvida, taxas de aprendizado distintas são calculadas para cada parâmetro e o momento é determinado. A principal distinção é que isso não salva os níveis de momentum individuais para cada parâmetro; e a função do otimizador de Adam corrige esse problema.

Slide 5

Este slide descreve que, quando comparado a outros modelos adaptativos, as taxas de convergência são maiores no modelo de Adam. As taxas de aprendizado adaptativo para cada parâmetro são atendidas. Como o momento é levado em consideração para cada parâmetro, isso é comumente empregado em todos os modelos de Deep Learning. O modelo de Adam é altamente eficiente e rápido.