Kernkonzepte der Autoencoder-Schulung Ppt

Folie 1

Diese Folie gibt einen Überblick über AutoEncoder in neuronalen Netzen. Ein Autoencoder ist eine Form eines künstlichen neuronalen Netzwerks, das zum Erlernen effizienter Codierungen von unbeschrifteten Eingaben oder unbeaufsichtigtem Lernen verwendet wird. Durch den Versuch, die Eingabe aus der Kodierung neu zu generieren, wird die Kodierung validiert und verbessert.

Folie 2

Diese Folie listet Komponenten in einem AutoEncoder auf. Diese Komponenten sind ein Encoder, ein Decoder und ein latenter Raum.

Anmerkungen des Kursleiters:

• Encoder: Lernt, eingehende Daten durch Komprimieren (Reduzieren) in eine codierte Darstellung umzuwandeln
• Decoder: Stellt die Originaldaten aus der codierten Darstellung so nah wie möglich an der Originaleingabe wieder her
• Latentraum: Die Ebene, die die komprimierte Version der Eingabedaten enthält, wird als Engpass oder Latentraum bezeichnet

Folie 3

Diese Folie zeigt Arten von AutoEncodern. Dazu gehören unvollständige Autoencoder und regulierte Autoencoder, die weiter in spärliche Autoencoder und entrauschende Autoencoder unterteilt werden.

Anmerkungen des Kursleiters:

• Unvollständige Autoencoder: Unvollständige Autoencoder haben einen latenten Raum, der kleiner als die Eingabedimension ist. Der Autoencoder ist gezwungen, die wichtigsten Aspekte der Trainingseingabe zu erfassen, indem er eine unvollständige Darstellung lernt
• Regularisierte Autoencoder: Diese verwenden eine Verlustfunktion, die dafür sorgt, dass das Modell andere Eigenschaften als die Fähigkeit zur Übertragung von Eingaben in Ausgaben aufweist. In der Praxis gibt es zwei Formen regulierter Autoencoder: Sparse-Autoencoder und Denoising-Autoencoder
• Sparse-Autoencoder: Normalerweise werden Sparse-Autoencoder verwendet, um Funktionen für eine neue Aufgabe zu erlernen, beispielsweise für die Klassifizierung. Anstatt nur als Identitätsfunktion zu fungieren, muss ein Autoencoder, der auf Sparse reguliert wurde, auf eindeutige statistische Eigenschaften des Datensatzes reagieren, auf den er trainiert wurde
• Entrauschen von Autoencodern: Es ist nicht mehr erforderlich, die Eingabedaten neu zu erstellen. Anstatt der Verlustfunktion eine Strafe hinzuzufügen, können wir den Rekonstruktionsfehlerterm der Verlustfunktion ändern, um einen Autoencoder zu erhalten, der in der Lage ist, alles Sinnvolle zu lernen. Dies kann dadurch erreicht werden, dass dem Eingabebild Rauschen hinzugefügt und der Autoencoder darauf trainiert wird, es zu beseitigen. Der Encoder lernt eine robuste Darstellung der Daten, indem er die relevantesten Merkmale extrahiert

Folie 4

Diese Folie listet Anwendungen von AutoEncodern auf. Dazu gehören Rauschunterdrückung, Dimensionsreduzierung, Anomalieerkennung und maschinelle Übersetzung.

Anmerkungen des Kursleiters:

• Rauschentfernung: Die Technik zur Reduzierung des Bildrauschens wird als Rauschentfernung bezeichnet. Techniken zur Reduzierung von Audio- und Bildrauschen sind über Autoencoder verfügbar
• Dimensionsreduktion: Die Übertragung von Daten aus einem hochdimensionalen Raum in einen niedrigdimensionalen Raum, sodass die niedrigdimensionale Darstellung einige wichtige Aspekte der Originaldaten beibehält, idealerweise nahe an ihrer intrinsischen Dimension, wird als Dimensionsreduktion bezeichnet. Der Encoder-Bereich von Autoencodern ist bei der Dimensionsreduzierung hilfreich, da er Darstellungen Ihrer Eingabedaten mit erheblich reduzierter Dimensionalität lernt
• Anomalieerkennung: Das Modell soll lernen, die am häufigsten gesehenen Merkmale exakt nachzubilden, indem es lernt, die hervorstechendsten Merkmale in den Trainingsdaten zu reproduzieren (natürlich mit einigen Einschränkungen). Bei Anomalien sollte sich die Rekonstruktionsleistung des Modells verschlechtern. In den meisten Fällen wird der Autoencoder nur mit Daten trainiert, die normale Instanzen enthalten. Der Autoencoder wird nach dem Training „normale“ Daten korrekt rekonstruieren, bei unerwarteten anomalen Eingaben gelingt ihm dies jedoch nicht
• Maschinelle Übersetzung: Autoencoder wurden in der Neural Machine Translation (NMT) verwendet, einer Art maschineller Übersetzung, die Autoencoder verwendet. Im Gegensatz zu Standard-Autoencodern erfolgt die Ausgabe nicht in derselben Sprache wie die Eingabe. Texte in NMT werden als Sequenzen betrachtet, die in den Lernmechanismus codiert werden müssen, während Sequenzen in der/den Zielsprache(n) auf der Decoderseite generiert werden

Folie 5

Diese Folie gibt einen Überblick über Variational AutoEncoder in neuronalen Netzen. Ein Variational Autoencoder (VAE) ist ein neuerer und faszinierender Ansatz für die automatische Kodierung. VAE geht davon aus, dass den Quelldaten eine Wahrscheinlichkeitsverteilung zugrunde liegt, und versucht dann, die Parameter der Verteilung zu ermitteln.

Hinweise des Kursleiters: Die Implementierung eines Variations-Autoencoders ist weitaus schwieriger als die Implementierung eines Autoencoders. Der Hauptzweck eines Variational Autoencoders besteht darin, neue Daten zu generieren, die mit den ursprünglichen Quelldaten verknüpft sind.