Kernkonzepte rekurrenter neuronaler Netze – Schulungs-Ppt

Folie 1

Diese Folie gibt eine Einführung in wiederkehrende neuronale Netze. Ein Recurrent Neural Network (RNN) ist eine Unterart des Artificial Neural Network (ANN), das mit Zeitreihen oder sequentiellen Daten arbeitet. Die Ausgabe aus dem vorherigen Schritt wird als Eingabe für die aktuelle Phase in einem RNN bereitgestellt.

Folie 2

Auf dieser Folie werden ein wiederkehrendes neuronales Netzwerk und ein Feedforward-neuronales Netzwerk definiert. RNNs basieren auf dem Konzept, die Ausgabe einer Schicht zu bewahren und sie wieder in die Eingabe einzuspeisen, um die Ausgabe der Schicht abzuschätzen. Die Ausgaben werden nach einer bestimmten Anzahl von Zyklen wieder als Eingaben eingespeist. In einem Feedforward-Netzwerk fließen Informationen ausschließlich in eine Richtung, von den Eingabeknoten über die verborgenen Schichten bis hin zu den Ausgabeknoten.

Folie 3

Auf dieser Folie wird ein Vergleich zwischen einem rekurrenten neuronalen Netzwerk und einem Feedforward-Neuronalen Netzwerk gezogen, indem Lösungen vorgestellt werden, die RNNs für die Probleme bieten, mit denen Feedforward-Netzwerke konfrontiert sind.

Folie 4

Auf dieser Folie geht es um die beiden Probleme, die Standard-RNNs mit sich bringen. Dies sind das Problem des verschwindenden Gradienten und das Problem des explodierenden Gradienten.

Anmerkungen des Kursleiters:

• Problem des verschwindenden Gradienten: Gradienten der Verlustfunktion nähern sich Null, wenn mehr Schichten mit bestimmten Aktivierungsfunktionen zu neuronalen Netzen hinzugefügt werden, was das Trainieren des Netzes erschwert.
• Problem des explodierenden Gradienten: Ein explodierender Gradient tritt auf, wenn die Steigung eines neuronalen Netzwerks exponentiell zunimmt, anstatt nach dem Training abzunehmen. Dieses Problem tritt auf, wenn sich erhebliche Fehlergradienten aufbauen, was zu umfangreichen Änderungen an den Modellgewichten des neuronalen Netzwerks während des Trainings führt. Die größten Herausforderungen bei Gradientenproblemen sind verlängerte Trainingszeiten, geringe Leistung und geringe Genauigkeit

Folie 5

Auf dieser Folie werden Arten wiederkehrender neuronaler Netze aufgeführt. Dazu gehören Eins-zu-Eins, Eins-zu-Viele, Viele-zu-Eins, Viele-zu-Viele.

Folie 6

Diese Folie zeigt drei Varianten von Architekturen wiederkehrender neuronaler Netze. Dazu gehören bidirektionale wiederkehrende neuronale Netze, langes Kurzzeitgedächtnis und Gated Recurrent Units.

Folie 7

Auf dieser Folie geht es um das bidirektionale rekurrente neuronale Netzwerk als Architektur. Bidirektionale RNNs beziehen zukünftige Daten ein, um die Genauigkeit zu erhöhen, während unidirektionale RNNs nur auf frühere Eingaben zurückgreifen können, um Vorhersagen über den aktuellen Zustand zu erstellen.

Folie 8

Diese Folie bietet Informationen über das Langzeit-Kurzzeitgedächtnis als Architektur. LSTM ist ein bekanntes RNN-Design, das von Sepp Hochreiter und Jürgen Schmidhuber entwickelt wurde, um das Problem des verschwindenden Gradienten anzugehen.

Hinweise für den Kursleiter: In den tiefen Schichten des neuronalen Netzwerks verfügen LSTMs über „Zellen“, die über drei Tore verfügen: Eingangstor, Ausgangstor und Vergessenstor. Diese Tore regulieren den Datenfluss, der zur Vorhersage der Netzwerkleistung erforderlich ist.

Folie 9

Auf dieser Folie geht es um Gated Recurrent Units als Architektur. Diese RNN-Version ähnelt LSTMs, da sie auch das Problem des Kurzzeitgedächtnisses von RNN-Modellen löst. Es verwendet versteckte Zustände anstelle von „Zellenzuständen“, um Informationen zu steuern, und statt drei Gatter verfügt es nur über zwei – ein Reset-Gate und ein Update-Gate.

Folie 10

Diese Folie listet die Vorteile wiederkehrender neuronaler Netze auf. Diese Vorteile bestehen darin, dass RNNs Eingaben jeder Länge verarbeiten können, dass sie sich Informationen merken, dass die Modellgröße nicht mit zunehmender Eingabegröße zunimmt, dass die Gewichte verteilt werden können usw.

Folie 11

Diese Folie listet die Nachteile wiederkehrender neuronaler Netze auf. Die Nachteile bestehen darin, dass die Berechnung langsam ist, das Trainieren von Modellen schwierig sein kann und häufig Probleme mit explodierenden und verschwindenden Gradienten auftreten.

Folie 12

Diese Folie listet Anwendungen von wiederkehrenden neuronalen Netzen auf. Dies sind Spracherkennung, Sprachmodellierung und Textgenerierung, Generierung von Bildbeschreibungen, maschinelle Übersetzung, Textzusammenfassung, Video-Tagging, Gesichtserkennung und Callcenter-Analyse.

Anmerkungen des Kursleiters:

• Spracherkennung: Wenn Schallwellen eines Mediums als Eingabequelle verwendet werden, können RNNs zur Vorhersage phonetischer Segmente verwendet werden. Die Menge der Eingaben umfasst Phoneme oder akustische Signale aus einer Audiodatei, die angemessen verarbeitet und als Eingaben verwendet wurden
• Sprachmodellierung und -generierung: RNNs versuchen, das Potenzial des nächsten Wortes vorherzusagen, indem sie eine Wortfolge als Eingabe verwenden. Dies ist eine der hilfreichsten Übersetzungsmethoden, da der wahrscheinlichste Satz der richtige ist. Bei dieser Methode wird die Wahrscheinlichkeit eines bestimmten Zeitausgabeschritts verwendet, um die Wörter in der nächsten Iteration abzutasten
• Generieren von Bildbeschreibungen: Eine Kombination aus CNNs und RNNs wird verwendet, um zu beschreiben, was in einem Bild geschieht. Die Segmentierung erfolgt mit CNN und die Beschreibung wird mit den segmentierten Daten von RNN neu erstellt
• Maschinelle Übersetzung: RNNs können verwendet werden, um Text auf die eine oder andere Weise von einer Sprache in eine andere zu übersetzen. Fast jedes heute verwendete Übersetzungssystem verwendet irgendeine Form von fortgeschrittenem RNN. Als Eingabe kann die Quellsprache verwendet werden, die Ausgabe erfolgt in der bevorzugten Zielsprache des Benutzers
• Textzusammenfassung: Diese Anwendung kann sehr dabei helfen, Inhalte aus Büchern zusammenzufassen und sie für die Verteilung in Anwendungen anzupassen, die keine großen Textmengen verarbeiten können
• Video-Tagging: RNNs können bei der Videosuche verwendet werden, um das Bild eines in viele Frames unterteilten Videos zu beschreiben
• Gesichtserkennung: Die Bilderkennung ist eines der am einfachsten zu verstehenden RNNs. Die Methode basiert darauf, eine Bildeinheit als Eingabe zu verwenden und die Beschreibung des Bildes in mehreren Ausgabegruppen zu erstellen
• Call-Center-Analyse: Der gesamte Vorgang kann automatisiert werden, wenn RNNs verwendet werden, um die tatsächliche Sprache des Anrufs zu Analysezwecken zu verarbeiten und zu synthetisieren