Grundlegendes zum Gradientenabstiegstraining Ppt

Folie 1

Auf dieser Folie wird das Konzept des Gradientenabstiegs vorgestellt. Gradient Descent ist ein Optimierungsprozess, der in Algorithmen des maschinellen Lernens verwendet wird, um die Kostenfunktion (den Fehler zwischen der tatsächlichen und der vorhergesagten Ausgabe) zu minimieren. Es wird hauptsächlich zum Aktualisieren der Parameter des Lernmodells verwendet.

Folie 2

Auf dieser Folie werden die Arten des Gradientenabstiegs aufgeführt. Dazu gehören Batch-Gradientenabstieg, stochastischer Gradientenabstieg und Mini-Batch-Gradientenabstieg.

Hinweise des Dozenten:

• Batch-Gradientenabstieg: Der Batch-Gradientenabstieg fügt die Fehler für jeden Punkt in einem Trainingssatz hinzu, bevor das Modell aktualisiert wird, nachdem alle Trainingsinstanzen überprüft wurden. Dieser Prozess wird als Trainingsepoche bezeichnet. Der Batch-Gradientenabstieg führt normalerweise zu einem stetigen Fehlergradienten und einer stetigen Konvergenz, obwohl die Wahl des lokalen Minimums anstelle des globalen Minimums nicht immer die beste Lösung ist
• Stochastischer Gradientenabstieg: Der stochastische Gradientenabstieg erstellt eine Trainingsepoche für jedes Beispiel im Datensatz und ändert die Parameter jedes Trainingsbeispiels nacheinander. Diese häufigen Aktualisierungen können zu mehr Details und Geschwindigkeit führen, können aber auch zu verrauschten Farbverläufen führen, die dabei helfen können, das lokale Minimum zu überschreiten und das globale Minimum zu lokalisieren
• Mini-Batch-Gradientenabstieg: Der Mini-Batch-Gradientenabstieg kombiniert die Prinzipien des Batch-Gradientenabstiegs und des stochastischen Gradientenabstiegs. Es unterteilt den Trainingsdatensatz in verschiedene Gruppen und aktualisiert diese separat. Diese Methode gleicht die Recheneffizienz des Batch-Gradientenabstiegs und die Geschwindigkeit des stochastischen Gradientenabstiegs aus