Comprendre la formation en descente de gradient Ppt

Diapositive 1

Cette diapositive présente le concept de descente de gradient. Gradient Descent est un processus d'optimisation utilisé dans les algorithmes d'apprentissage automatique pour minimiser la fonction de coût (l'erreur entre la sortie réelle et prévue). Il est principalement utilisé pour mettre à jour les paramètres du modèle d'apprentissage.

Diapositive 2

Cette diapositive répertorie les types de descente de dégradé. Ceux-ci incluent la descente de gradient par lots, la descente de gradient stochastique et la descente de gradient par mini-lots.

Notes de l'instructeur :

• Descente de gradient par lots : la descente de gradient par lots ajoute les erreurs pour chaque point d'un ensemble d'apprentissage avant de mettre à jour le modèle une fois que toutes les instances d'apprentissage ont été examinées. Ce processus est connu sous le nom d'Epoque d'Entraînement. La descente de gradient par lots donne généralement un gradient d'erreur et une convergence stables, bien que choisir le minimum local plutôt que le minimum global ne soit pas toujours la meilleure solution
• Descente de gradient stochastique : la descente de gradient stochastique crée une époque d'apprentissage pour chaque exemple de l'ensemble de données et modifie les paramètres de chaque exemple d'apprentissage, de manière séquentielle. Ces mises à jour fréquentes peuvent fournir plus de détails et de rapidité, mais elles peuvent également produire des gradients bruyants, ce qui peut aider à dépasser le minimum local et à localiser le global.
• Descente de gradient en mini-lot : La descente de gradient en mini-lot combine les principes de la descente de gradient par lots avec la descente de gradient stochastique. Il divise l'ensemble de données d'entraînement en groupes distincts et les met à jour séparément. Cette méthode équilibre l'efficacité de calcul de la descente de gradient par lots et la vitesse de descente de gradient stochastique