Conceitos principais do treinamento de Autoencoders Ppt

Slide 1

Este slide fornece uma visão geral dos AutoEncoders em redes neurais. Um Autoencoder é uma forma de Rede Neural Artificial usada para aprender codificações eficientes de entrada não rotulada ou aprendizado não supervisionado. Ao tentar regenerar a entrada da codificação, a codificação é validada e aprimorada.

Slide 2

Este slide lista os componentes em um AutoEncoder. Esses componentes são um codificador, um decodificador e um espaço latente.

Notas do instrutor:

• Codificador: Aprende a converter os dados recebidos em uma representação codificada, comprimindo-os (reduzindo-os)
• Decodificador: recupera os dados originais da representação codificada o mais próximo possível da entrada original
• Espaço latente: A camada que inclui a versão compactada dos dados de entrada é conhecida como gargalo ou espaço latente

Slide 3

Este slide descreve os tipos de AutoEncoders. Estes incluem Autoencoders subcompletos e Autoencoders regularizados, que são divididos em Autoencoders esparsos e Autoencoders de redução de ruído.

Notas do instrutor:

• Autoencoders subcompletos: Autoencoders subcompletos têm um espaço latente menor que a dimensão de entrada. O autoencoder é forçado a capturar os aspectos mais importantes da entrada de treinamento aprendendo uma representação incompleta
• Autoencoders Regularizados: Eles empregam uma função de perda que promove o modelo a ter outras qualidades além da capacidade de transferir entrada para saída. Duas formas de autoencoders regularizados são encontradas na prática: autoencoders esparsos e autoencoders de redução de ruído
• Autoencoders esparsos: Normalmente, Autoencoders esparsos são usados para aprender recursos para um novo trabalho, como classificação. Em vez de apenas operar como uma função de identidade, um Autoencoder que foi regularizado para ser esparso deve responder a propriedades estatísticas exclusivas do conjunto de dados em que foi treinado
• Denoising Autoencoders: Não é mais necessário reconstruir os dados de entrada. Em vez de adicionar uma penalidade à função de perda, podemos alterar o termo de erro de reconstrução da função de perda para obter um Autoencoder que tenha a capacidade de aprender qualquer coisa significativa. Isso pode ser feito introduzindo ruído na imagem de entrada e treinando o Autoencoder para eliminá-lo. O codificador aprenderá uma representação robusta dos dados extraindo os recursos mais relevantes

Slide 4

Este slide lista os aplicativos de AutoEncoders. Isso inclui remoção de ruído, redução de dimensionalidade, detecção de anomalias e tradução automática.

Notas do instrutor:

• Remoção de ruído: A técnica de redução do ruído de uma imagem é conhecida como remoção de ruído. Técnicas de redução de ruído de áudio e imagem estão disponíveis por meio de codificadores automáticos
• Redução de dimensionalidade: a transferência de dados de um espaço de alta dimensão para um espaço de baixa dimensão, de modo que a representação de baixa dimensão retenha alguns aspectos significativos dos dados originais, idealmente próximos de sua dimensão intrínseca, é conhecida como redução de dimensionalidade. A seção do codificador dos codificadores automáticos é útil ao executar a redução de dimensionalidade, pois aprende representações de seus dados de entrada com dimensionalidade consideravelmente reduzida
• Detecção de anomalias: o modelo é encorajado a aprender a recriar exatamente os traços vistos com mais frequência, aprendendo a replicar os recursos mais salientes nos dados de treinamento (sob algumas limitações, é claro). Quando confrontado com anormalidades, o desempenho da reconstrução do modelo deve se deteriorar. Na maioria das circunstâncias, o autoencoder é treinado usando apenas dados contendo instâncias normais. O autoencoder reconstruirá corretamente os dados "normais" após o treinamento, mas falhará em fazê-lo com entrada anômala inesperada
• Tradução automática: Autoencoders têm sido usados em Neural Machine Translation (NMT), um tipo de tradução automática que usa autoencoders. Ao contrário dos autoencoders padrão, a saída não está no mesmo idioma da entrada. Os textos em NMT são vistos como sequências a serem codificadas no mecanismo de aprendizado, enquanto as sequências na(s) língua(s)-alvo são geradas no lado do decodificador

Slide 5

Este slide fornece uma visão geral dos AutoEncoders Variacionais em Redes Neurais. Um Variational Autoencoder (VAE) é uma abordagem mais recente e intrigante para autoencoding. O VAE presume que os dados de origem tenham uma distribuição de probabilidade subjacente e, em seguida, tenta descobrir os parâmetros da distribuição.

Notas do instrutor: É muito mais desafiador implementar um Autoencoder variacional do que implementar um Autoencoder. O principal objetivo de um Autoencoder Variacional é gerar novos dados conectados aos dados de origem originais.