Grundlagen des Trainings für künstliche neuronale Netze Ppt

Folie 1

Diese Folie zeigt eine Trennfolie für die Sitzungseinführung in die Vertriebsgrundlagen.

Folie 2

Diese Folie zeigt die Schichten in einem neuronalen Netzwerk. Es gibt drei Ebenen, die als Eingabeebene, verborgene Ebene und Ausgabeebene bekannt sind.

Anmerkungen des Kursleiters:

• Eingabeschicht: Die Eingabeschicht steht an erster Stelle. Diese Schicht akzeptiert die Daten und sendet sie dann an den Rest des Netzwerks
• Verborgene Ebene: Die verborgene Ebene ist die zweite der drei Ebenen. Die verborgenen Schichten eines neuronalen Netzwerks können eine oder mehrere sein. Die verborgenen Schichten sind diejenigen, die für die hohe Leistung und Komplexität neuronaler Netze verantwortlich sind. Sie können mehrere Aufgaben gleichzeitig erledigen, z. B. Datentransformation, automatische Funktionsentwicklung usw
• Ausgabeebene: Die Ausgabeebene ist die letzte Ebene. Das Ergebnis oder die Ausgabe des Problems wird in der Ausgabeschicht gespeichert. Die Eingabeebene empfängt Rohfotos und die Ausgabeebene liefert die endgültige Version des Ergebnisses

Folie 3

Diese Folie veranschaulicht die künstlichen Neuronen, die in den Schichten eines künstlichen neuronalen Netzwerks (KNN) vorhanden sind. Es wird ein Vergleich zwischen den im menschlichen Gehirn vorhandenen biologischen Neuronen und einem künstlichen Neuron in einem KNN gezogen.

Hinweise für den Kursleiter: Eine Schicht besteht aus mikroskopischen Einheiten, die als Neuronen bekannt sind. Mit Hilfe biologischer Neuronen lässt sich ein Neuron in einem neuronalen Netzwerk besser verstehen. Ein künstliches Neuron ist analog zu einem biologischen Neuron. Es nimmt Informationen von anderen Neuronen entgegen, verarbeitet sie und erzeugt dann eine Ausgabe. Hier sind X1 und X2 die Eingaben der künstlichen Neuronen, f(X) ist die Verarbeitung der Eingaben und y ist die Ausgabe des Neurons.

Folie 4

Diese Folie gibt eine Einführung in die Aktivierungsfunktion in einem neuronalen Netzwerk und diskutiert ihre Bedeutung. Mithilfe der Aktivierungsfunktion wird eine gewichtete Summe berechnet und anschließend ein Bias hinzugefügt, um zu bestimmen, ob ein Neuron aktiviert werden soll oder nicht.

Folie 5

Diese Folie veranschaulicht die Schwellenwertfunktion, eine Art Aktivierungsfunktion in einem neuronalen Netzwerk. Diese Funktion hat nur zwei mögliche Ausgaben: entweder 0 oder 1. Sie werden im Allgemeinen verwendet, wenn nur zwei Arten von Daten klassifiziert werden sollen.

Folie 6

Diese Folie zeigt die Sigmoidfunktion, eine Art Aktivierungsfunktion. Der Wertebereich der Sigmoidfunktion liegt zwischen 0 und 1. Diese Funktion wird hauptsächlich in der Ausgabeschicht verwendet, da wir von diesem Knoten aus den erwarteten Wert erhalten

Folie 7

Diese Folie veranschaulicht die Rectifier- oder ReLU-Funktion, eine Art Aktivierungsfunktion. Relu (Rectified Linear Units) wird aufgrund seiner gleichgerichteten Natur hauptsächlich in verborgenen Schichten eines neuronalen Netzwerks eingesetzt. Relu ist eine halbkorrigierte Funktion, die unten beginnt. Sie bewegt sich kontinuierlich bis zu einem bestimmten Punkt und steigt dann nach einer bestimmten Zeitspanne auf ihr Maximum an

Folie 8

Diese Folie zeigt die hyperbolische Tangensfunktion, eine Art Aktivierungsfunktion. Die Tanh-Funktion ist eine aktualisierte Version der Sigmoidfunktion, die einen Wertebereich von -1 bis 1 umfasst. Tanh hat eine Sigmoidkurvenform, allerdings mit einem ausgeprägten Wertebereich. Der Vorteil besteht darin, dass je nach Prognose sowohl negative als auch positive Ergebnisse getrennt dargestellt werden

Folie 9

Diese Folie beschreibt die Funktionsweise eines künstlichen neuronalen Netzwerks. Künstliche neuronale Netze können als gewichtete gerichtete Graphen betrachtet werden, in denen Neuronen mit Knoten und Verbindungen zwischen Neuronen mit gewichteten Kanten verglichen werden.

Hinweise für den Kursleiter: Das Verarbeitungselement eines Neurons empfängt viele Signale, die gelegentlich an der Empfangssynapse verändert werden, bevor sie am Verarbeitungselement summiert werden. Wenn es den Schwellenwert erreicht, wird es zu einem Input für andere Neuronen und der Zyklus beginnt von neuem

Folie 10

Auf dieser Folie wird das Konzept des Gradientenabstiegs vorgestellt. Gradient Descent ist ein Optimierungsprozess, der in Algorithmen des maschinellen Lernens verwendet wird, um die Kostenfunktion (den Fehler zwischen der tatsächlichen und der vorhergesagten Ausgabe) zu minimieren. Es wird hauptsächlich zum Aktualisieren der Parameter des Lernmodells verwendet.

Folie 11

Auf dieser Folie werden die Arten des Gradientenabstiegs aufgeführt. Dazu gehören Batch-Gradientenabstieg, stochastischer Gradientenabstieg und Mini-Batch-Gradientenabstieg.

Anmerkungen des Kursleiters:

• Batch-Gradientenabstieg: Der Batch-Gradientenabstieg fügt die Fehler für jeden Punkt in einem Trainingssatz hinzu, bevor das Modell aktualisiert wird, nachdem alle Trainingsinstanzen überprüft wurden. Dieser Prozess wird als Trainingsepoche bezeichnet. Der Batch-Gradientenabstieg führt normalerweise zu einem stetigen Fehlergradienten und einer stetigen Konvergenz, obwohl die Wahl des lokalen Minimums anstelle des globalen Minimums nicht immer die beste Lösung ist
• Stochastischer Gradientenabstieg: Der stochastische Gradientenabstieg erstellt eine Trainingsepoche für jedes Beispiel im Datensatz und ändert die Parameter jedes Trainingsbeispiels nacheinander. Diese häufigen Aktualisierungen können zu mehr Details und Geschwindigkeit führen, können aber auch zu verrauschten Farbverläufen führen, die dabei helfen können, das lokale Minimum zu überschreiten und das globale Minimum zu lokalisieren
• Mini-Batch-Gradientenabstieg: Der Mini-Batch-Gradientenabstieg kombiniert die Prinzipien des Batch-Gradientenabstiegs und des stochastischen Gradientenabstiegs. Es unterteilt den Trainingsdatensatz in verschiedene Gruppen und aktualisiert diese separat. Diese Methode gleicht die Recheneffizienz des Batch-Gradientenabstiegs und die Geschwindigkeit des stochastischen Gradientenabstiegs aus

Folie 12

Auf dieser Folie wird das Konzept der Backpropagation zusammen mit ihren beiden Typen beschrieben: statische Backpropagation und wiederkehrende Backpropagation. Backpropagation ist nützlich bei der Berechnung des Gradienten einer Verlustfunktion in Bezug auf alle Gewichte des Netzwerks.

Anmerkungen des Kursleiters:

• Statische Backpropagation: Die Zuordnung statischer Eingaben erzeugt bei dieser Art der Backpropagation eine statische Ausgabe. Es wird verwendet, um Herausforderungen wie die optische Zeichenerkennung zu bewältigen, die eine statische Klassifizierung erfordert
• Wiederkehrende Rückausbreitung: Die wiederkehrende Rückausbreitung wird vorwärts gerichtet oder durchgeführt, bis ein bestimmter eingestellter Wert oder Schwellenwert erreicht wird. Der Fehler wird nach Erreichen eines bestimmten Werts ausgewertet und rückwärts propagiert

Folie 13

Auf dieser Folie werden die Vorteile der Backpropagation aufgeführt. Diese sind einfach und unkompliziert, anpassungsfähig und effizient und erfordern keine besonderen Eigenschaften.

Folie 14

Auf dieser Folie werden die Nachteile der Backpropagation aufgeführt. Diese bestehen darin, dass die Dateneingabe die Funktion des gesamten Netzwerks zu einem bestimmten Thema bestimmt, Netzwerke anfällig für verrauschte Daten sind und eine Matrix-basierte Technik verwendet wird.

Folie 15

Diese Folie listet die Vorteile künstlicher neuronaler Netze auf. Zu diesen Vorteilen gehören, dass ANN Informationen über das gesamte Netzwerk speichert, seine Fähigkeit, mit unzureichendem Wissen zu arbeiten, seine Fehlertoleranz, ein verteilter Speicher und die Fähigkeit zur parallelen Verarbeitung.

Hinweise des Dozenten:

• Speichern von Informationen im gesamten Netzwerk: Informationen werden im gesamten Netzwerk gespeichert und nicht in einer Datenbank, wie dies bei der herkömmlichen Programmierung der Fall ist. Das Netzwerk funktioniert weiterhin, obwohl an einem Ort einige Informationen verloren gehen
• Fähigkeit, mit unzureichendem Wissen zu arbeiten: Nach dem Training des künstlichen neuronalen Netzwerks können die Daten auch bei begrenzten oder unzureichenden Informationen zu Ergebnissen führen
• Fehlertoleranz: Die Ausgabe eines KNN bleibt von der Beschädigung einer oder mehrerer seiner Zellen unberührt. Durch diese Eigenschaft werden die Netzwerke fehlertolerant
• Verteilter Speicher: Es ist erforderlich, die Beispiele zu ermitteln und das Netzwerk entsprechend der beabsichtigten Ausgabe zu trainieren. Der Fortschritt des Netzwerks ist proportional zu den ausgewählten Instanzen. Wenn das Ereignis nicht in allen Aspekten im Netzwerk angezeigt werden kann, kann es zu ungenauen Ergebnissen kommen
• Fähigkeit zur Parallelverarbeitung: Künstliche neuronale Netze verfügen über die Rechenleistung, um mehrere Aufgaben gleichzeitig auszuführen
• Allmähliche Korruption: Das Netzwerk wird nicht sofort korrodiert, da seine Leistung mit der Zeit nachlässt und langsamer wird.

Folie 16

Diese Folie listet die Nachteile künstlicher neuronaler Netze auf. Zu diesen Nachteilen gehören die Hardwareabhängigkeit von ANNs, die ungeklärte Funktionsweise des Netzwerks, die Schwierigkeit, dem Netzwerk Probleme anzuzeigen, und keine Klarheit über die ordnungsgemäße Netzwerkstruktur, die funktioniert.

Hinweise des Dozenten:

• Hardwareabhängigkeit: Die Struktur künstlicher neuronaler Netze erfordert parallele Rechenleistung. Daher ist die Implementierung geräteabhängig
• Unerklärte Funktionsweise des Netzwerks: Wenn ANN eine Sondierungslösung bereitstellt, erklärt dies nicht, warum oder wie diese ausgewählt wurde. Dies verringert das Vertrauen in das Netzwerk
• Schwierigkeiten, das Problem dem Netzwerk anzuzeigen: ANNs sind in der Lage, mit numerischen Daten zu arbeiten. Bevor ANN in ein Problem eingeführt wird, muss es in numerische Werte umgewandelt werden. Der hier gewählte Anzeigemechanismus wirkt sich je nach Kenntnisstand des Benutzers direkt auf die Leistung des Netzwerks aus
• Keine Klarheit über die richtige Netzwerkstruktur, die funktioniert: Keine explizite Regel bestimmt die Struktur künstlicher neuronaler Netzwerke. Durch Erfahrung und Trial & Error wird die ideale Netzwerkstruktur geschaffen