Conceitos Básicos do Treinamento em Redes Neurais Recorrentes Ppt

Slide 1

Este slide apresenta uma introdução às Redes Neurais Recorrentes. Uma Rede Neural Recorrente (RNN) é um subtipo de Rede Neural Artificial (ANN) que trabalha com séries temporais ou dados sequenciais. A saída da etapa anterior é fornecida como entrada para a fase atual em uma RNN.

Slide 2

Este slide define uma Rede Neural Recorrente e uma Rede Neural Feedforward. Os RNNs trabalham com o conceito de preservar a saída de uma camada e alimentá-la de volta na entrada para estimar a saída da camada. As saídas são recicladas como entradas após um certo número de ciclos. A informação flui apenas em uma direção em uma rede feedforward, dos nós de entrada, através das camadas ocultas e, finalmente, para os nós de saída.

Slide 3

Este slide faz uma comparação entre uma Rede Neural Recorrente e uma Rede Neural Feedforward, apresentando soluções que as RNNs trazem para os problemas enfrentados pelas redes feedforward.

Slide 4

Este slide fala sobre os dois problemas que os RNNs padrão apresentam. Estes são o problema do gradiente evanescente e o problema do gradiente explosivo.

Notas do instrutor:

• Problema do gradiente de fuga: Os gradientes da função de perda se aproximam de zero quando mais camadas com certas funções de ativação são adicionadas às redes neurais, o que dificulta o treinamento da rede.
• Problema do Gradiente Explosivo: Um Gradiente Explosivo ocorre quando a inclinação de uma rede neural cresce exponencialmente em vez de diminuir após o treinamento. Esse problema ocorre quando gradientes de erro significativos se acumulam, resultando em modificações extensas nos pesos do modelo de rede neural durante o treinamento. Os principais desafios em problemas de gradiente são tempos de treinamento prolongados, baixo desempenho e baixa precisão

Slide 5

Este slide lista os tipos de redes neurais recorrentes. Estes incluem um-para-um, um-para-muitos, muitos-para-um, muitos-para-muitos.

Slide 6

Este slide descreve três variantes de arquiteturas de Redes Neurais Recorrentes. Isso inclui redes neurais recorrentes bidirecionais, memória de longo prazo e unidades recorrentes fechadas.

Slide 7

Este slide fala sobre Rede Neural Recorrente Bidirecional como uma arquitetura. As RNNs bidirecionais extraem dados futuros para aumentar a precisão, enquanto as RNNs unidirecionais só podem usar entradas anteriores para criar previsões sobre o estado atual.

Slide 8

Este slide fornece informações sobre a memória de longo prazo como uma arquitetura. LSTM é um projeto RNN bem conhecido desenvolvido por Sepp Hochreiter e Juergen Schmidhuber para resolver o problema do gradiente de fuga.

Notas do instrutor: Nas camadas profundas da rede neural, os LSTMs têm "células" com três portões: portão de entrada, portão de saída e portão de esquecimento. Essas portas regulam o fluxo de dados necessários para prever a saída da rede.

Slide 9

Este slide fala sobre Gated Recurrent Units como uma arquitetura. Esta versão RNN é semelhante aos LSTMs porque também funciona para resolver o problema de memória de curto prazo dos modelos RNN. Ele emprega estados ocultos em vez de "estados de célula" para controlar as informações e, em vez de três portas, possui apenas duas - uma porta de redefinição e uma porta de atualização.

Slide 10

Este slide lista as vantagens das redes neurais recorrentes. Esses benefícios são que RNNs podem lidar com qualquer comprimento de entrada, eles lembram informações, o tamanho do modelo não aumenta à medida que o tamanho da entrada cresce, os pesos podem ser distribuídos, etc.

Slide 11

Este slide lista as desvantagens das redes neurais recorrentes. As desvantagens são que a computação é lenta, os modelos podem ser desafiadores para treinar e os problemas de gradiente de explosão e desaparecimento são comuns.

Slide 12

Este slide lista aplicações de Redes Neurais Recorrentes. Estes são reconhecimento de fala, modelagem de linguagem e geração de texto, geração de descrições de imagem, tradução automática, resumo de texto, marcação de vídeo, detecção de face e análise de call center.

Notas do instrutor:

• Reconhecimento de Fala: Quando ondas sonoras de um meio são empregadas como fonte de entrada, RNNs podem ser usados para prever segmentos fonéticos. O conjunto de entradas compreende fonemas ou sinais acústicos de um arquivo de áudio que foram adequadamente processados e usados como entradas
• Modelagem e geração de linguagem: RNNs tentam antecipar o potencial da próxima palavra usando uma sequência de palavras como entrada. Esta é uma das formas mais úteis de tradução, pois a frase mais provável será a correta. A probabilidade de uma determinada etapa de saída de tempo é usada para amostrar as palavras na próxima iteração neste método
• Gerando Descrições de Imagens: Uma combinação de CNNs e RNNs é usada para descrever o que está acontecendo dentro de uma imagem. A segmentação é feita usando CNN, e a descrição é recriada por RNN usando os dados segmentados
• Tradução automática: RNNs podem ser usados para traduzir texto de um idioma para outro de uma forma ou de outra. Quase todo sistema de tradução em uso atualmente emprega alguma forma de RNN avançado. O idioma de origem pode ser usado como entrada e a saída será no idioma de destino preferido do usuário
• Resumo de texto: este aplicativo pode ajudar muito a resumir o conteúdo de livros e personalizá-lo para distribuição em aplicativos que não podem lidar com grandes quantidades de texto
• Marcação de vídeo: RNNs podem ser usados na pesquisa de vídeo para descrever o visual de um vídeo dividido em vários quadros
• Detecção de rosto: o reconhecimento de imagem é um dos RNNs mais simples de entender. O método é construído tomando uma unidade de uma imagem como entrada e produzindo a descrição da imagem em vários grupos de saída
• Análise do Call Center: Todo o procedimento pode ser automatizado se RNNs forem usados para processar e sintetizar a fala real da chamada para fins de análise