Concepts de base de la formation aux encodeurs automatiques Ppt

Diapositive 1

Cette diapositive donne un aperçu des AutoEncoders dans les réseaux de neurones. Un auto-encodeur est une forme de réseau de neurones artificiels utilisé pour apprendre des codages efficaces d'entrées non étiquetées ou d'apprentissage non supervisé. En tentant de régénérer l'entrée à partir du codage, le codage est validé et amélioré.

Diapositive 2

Cette diapositive répertorie les composants d'un AutoEncoder. Ces composants sont un encodeur, un décodeur et un espace latent.

Notes de l'instructeur :

• Encodeur : apprend à convertir les données entrantes en une représentation codée en les compressant (en les réduisant)
• Décodeur : Récupère les données d'origine à partir de la représentation codée aussi près que possible de l'entrée d'origine
• Espace latent : la couche qui comprend la version compressée des données d'entrée est appelée goulot d'étranglement ou espace latent.

Diapositive 3

Cette diapositive décrit les types d'AutoEncoders. Ceux-ci incluent des auto-encodeurs sous-complets et des auto-encodeurs régularisés qui sont ensuite divisés en auto-encodeurs clairsemés et en auto-encodeurs de débruitage.

Notes de l'instructeur :

• Encodeurs automatiques incomplets : les encodeurs automatiques incomplets ont un espace latent inférieur à la dimension d'entrée. L'auto-encodeur est obligé de capturer les aspects les plus importants de l'entrée de formation en apprenant une représentation incomplète
• Auto-encodeurs régularisés : Ceux-ci utilisent une fonction de perte qui favorise le modèle pour avoir des qualités autres que la capacité de transférer l'entrée vers la sortie. Deux formes d'auto-encodeurs régularisés se retrouvent en pratique : les auto-encodeurs parcimonieux et les auto-encodeurs débruitants
• Encodeurs automatiques clairsemés : généralement, les encodeurs automatiques clairsemés sont utilisés pour apprendre les fonctionnalités d'un nouveau travail, telles que la classification. Au lieu de fonctionner simplement comme une fonction d'identité, un Autoencoder qui a été régularisé pour être clairsemé doit répondre aux propriétés statistiques uniques de l'ensemble de données sur lequel il a été formé.
• Débruitage des auto-encodeurs : il n'est plus nécessaire de reconstruire les données d'entrée. Plutôt que d'ajouter une pénalité à la fonction de perte, nous pouvons modifier le terme d'erreur de reconstruction de la fonction de perte pour obtenir un Autoencoder capable d'apprendre tout ce qui a du sens. Cela peut être accompli en introduisant du bruit dans l'image d'entrée et en entraînant l'auto-encodeur pour l'éliminer. L'encodeur apprendra une représentation robuste des données en extrayant les caractéristiques les plus pertinentes

Diapositive 4

Cette diapositive répertorie les applications des AutoEncoders. Celles-ci incluent la suppression du bruit, la réduction de la dimensionnalité, la détection des anomalies et la traduction automatique.

Notes de l'instructeur :

• Suppression du bruit : la technique de réduction du bruit d'une image est connue sous le nom de suppression du bruit. Des techniques de réduction du bruit audio et image sont disponibles via des encodeurs automatiques
• Réduction de dimensionnalité : Le transfert de données d'un espace de grande dimension vers un espace de faible dimension afin que la représentation de faible dimension conserve certains aspects significatifs des données d'origine, idéalement proches de sa dimension intrinsèque, est appelé réduction de dimensionnalité. La section d'encodeur des encodeurs automatiques est utile lors de la réduction de la dimensionnalité car elle apprend les représentations de vos données d'entrée avec une dimensionnalité considérablement réduite.
• Détection des anomalies : le modèle est encouragé à apprendre à recréer exactement les traits les plus souvent observés en apprenant à reproduire les caractéristiques les plus saillantes dans les données de formation (sous certaines limitations, bien sûr). Face à des anomalies, les performances de reconstruction du modèle devraient se dégrader. Dans la plupart des cas, l'auto-encodeur est formé en utilisant uniquement des données contenant des instances normales. L'auto-encodeur reconstruira correctement les données "normales" après la formation, mais ne le fera pas avec une entrée anormale inattendue
• Traduction automatique : les encodeurs automatiques ont été utilisés dans la traduction automatique neurale (NMT), un type de traduction automatique qui utilise des encodeurs automatiques. Contrairement aux encodeurs automatiques standard, la sortie n'est pas dans la même langue que l'entrée. Les textes en NMT sont considérés comme des séquences à encoder dans le mécanisme d'apprentissage, tandis que les séquences dans la ou les langues cibles sont générées du côté du décodeur

Diapositive 5

Cette diapositive donne un aperçu des auto-encodeurs variationnels dans les réseaux de neurones. Un auto-encodeur variationnel (VAE) est une approche plus récente et intrigante pour l'auto-encodage. VAE suppose que les données source ont une distribution de probabilité sous-jacente et essaie ensuite de découvrir les paramètres de la distribution.

Notes de l'instructeur : Il est beaucoup plus difficile d'implémenter un auto-encodeur variationnel que d'implémenter un auto-encodeur. L'objectif principal d'un auto-encodeur variationnel est de générer de nouvelles données connectées aux données source d'origine.