Fonctions principales de la formation Deep Learning Ppt

Diapositive 1

Cette diapositive présente plusieurs types de fonctions d'apprentissage en profondeur : fonction d'activation sigmoïde, tan-h (fonction tangente hyperbolique), ReLU (unités linéaires rectifiées), fonctions de perte et fonctions d'optimisation.

Diapositive 2

Cette diapositive donne un aperçu de la fonction d'activation sigmoïde qui a la formule f(x) = 1/(1+exp (-x)). La sortie va de 0 à 1. Elle n'est pas centrée sur zéro. La fonction a un problème de gradient de fuite. Lorsque la rétropropagation se produit, de minuscules dérivés sont multipliés ensemble et le gradient diminue de façon exponentielle à mesure que nous nous propageons vers les couches de départ.

Diapositive 3

Cette diapositive indique que la fonction Tangente hyperbolique a la formule suivante : f(x) = (1-exp(-2x))/(1+exp(2x)). Le résultat est compris entre -1 et +1. Il est centré sur zéro. Comparée à la fonction sigmoïde, la convergence d'optimisation est simple, mais la fonction tan-h souffre toujours du problème de gradient de fuite.

Diapositive 4

Cette diapositive donne un aperçu des ReLU (unités linéaires rectifiées). La fonction est du type f(x) = max(0,x) i,e 0 quand x<0, x quand x>0. Par rapport à la fonction tan-h, la convergence ReLU est supérieure. Le problème de gradient de fuite n'affecte pas la fonction et ne peut être utilisé que dans les couches cachées du réseau

Diapositive 5

Cette diapositive répertorie les types de fonctions de perte en tant que composant de Deep Learning. Ceux-ci incluent l'erreur absolue moyenne, l'erreur quadratique moyenne, la perte de charnière et l'entropie croisée.

Diapositive 6

Cette diapositive indique que l'erreur absolue moyenne est une statistique permettant de calculer la différence absolue entre les valeurs attendues et réelles. Divisez le total de toutes les différences absolues par le nombre d'observations. Il ne pénalise pas les grandes valeurs aussi durement que l'erreur quadratique moyenne (MSE).

Diapositive 7

Cette diapositive décrit que la MSE est déterminée en additionnant les carrés de la différence entre les valeurs attendues et réelles et en divisant par le nombre d'observations. Il faut faire attention lorsque la valeur de la métrique est supérieure ou inférieure. Il n'est applicable que lorsque nous avons des valeurs inattendues pour les prévisions. Nous ne pouvons pas compter sur MSE car il pourrait augmenter pendant que le modèle fonctionne bien.

Diapositive 8

Cette diapositive explique que la fonction de perte de charnière est couramment observée dans les machines à vecteurs de support. La fonction a la forme = max[0,1-yf(x)]. Lorsque yf(x)>=0, la fonction de perte est 0, mais lorsque yf(x)<0 l'erreur augmente de manière exponentielle, pénalisant de manière disproportionnée les points mal classés qui sont éloignés de la marge. En conséquence, l'imprécision augmenterait de façon exponentielle jusqu'à ces points.

Diapositive 9

Cette diapositive indique que l'entropie croisée est une fonction logarithmique qui prédit des valeurs allant de 0 à 1. Elle évalue l'efficacité d'un modèle de classification. Par conséquent, lorsque la valeur est de 0,010, la perte d'entropie croisée est plus importante et le modèle fonctionne mal sur la prédiction.

Diapositive 10

Cette diapositive répertorie les fonctions de l'optimiseur dans le cadre de Deep Learning. Ceux-ci incluent la descente de gradient stochastique, adagrad, adadelta et adam (estimation adaptative du moment).

Diapositive 11

Cette diapositive indique que la stabilité de la convergence de la descente de gradient stochastique est préoccupante, et la question du minimum local émerge ici. Les fonctions de perte variant considérablement, le calcul du minimum global prend du temps.

Diapositive 12

Cette diapositive indique qu'il n'est pas nécessaire d'ajuster manuellement le taux d'apprentissage avec cette fonction Adagrad. Cependant, l'inconvénient fondamental est que le taux d'apprentissage continue de baisser. Par conséquent, lorsque le taux d'apprentissage diminue trop à chaque itération, le modèle n'acquiert pas plus d'informations.

Diapositive 13

Cette diapositive indique que dans adadelta, le taux d'apprentissage décroissant est résolu, des taux d'apprentissage distincts sont calculés pour chaque paramètre et la dynamique est déterminée. La principale distinction est que cela n'enregistre pas les niveaux d'impulsion individuels pour chaque paramètre ; et la fonction d'optimisation d'Adam corrige ce problème.

Diapositive 14

Cette diapositive décrit que, par rapport à d'autres modèles adaptatifs, les taux de convergence sont plus élevés dans le modèle d'Adam. Des taux d'apprentissage adaptatifs pour chaque paramètre sont pris en charge. Comme l'élan est pris en compte pour chaque paramètre, cela est couramment utilisé dans tous les modèles d'apprentissage en profondeur. Le modèle d'Adam est très efficace et rapide.