Conceptos básicos de las redes neuronales recurrentes Ppt de capacitación

Diapositiva 1

Esta diapositiva ofrece una introducción a las redes neuronales recurrentes. Una red neuronal recurrente (RNN) es un subtipo de red neuronal artificial (ANN) que funciona con series temporales o datos secuenciales. La salida del paso anterior se proporciona como entrada a la fase actual en un RNN.

Diapositiva 2

Esta diapositiva define una Red Neural Recurrente y una Red Neural Feedforward. Los RNN funcionan con el concepto de preservar la salida de una capa y devolverla a la entrada para estimar la salida de la capa. Las salidas se reciclan como entradas después de una cierta cantidad de ciclos. La información fluye únicamente en una dirección en una red de retroalimentación, desde los nodos de entrada, a través de las capas ocultas y finalmente a los nodos de salida.

Diapositiva 3

Esta diapositiva presenta una comparación entre una red neuronal recurrente y una red neuronal de avance al presentar soluciones que las RNN aportan a los problemas que enfrentan las redes de avance.

Diapositiva 4

Esta diapositiva habla de los dos problemas que presentan los RNN estándar. Estos son el problema del gradiente que se desvanece y el problema del gradiente que explota.

Notas del instructor:

• Problema del gradiente de fuga: los gradientes de la función de pérdida se acercan a cero cuando se agregan más capas con ciertas funciones de activación a las redes neuronales, lo que dificulta el entrenamiento de la red.
• Problema del gradiente explosivo: un gradiente explosivo ocurre cuando la pendiente de una red neuronal crece exponencialmente en lugar de disminuir después del entrenamiento. Este problema ocurre cuando se acumulan gradientes de error significativos, lo que resulta en modificaciones extensas a los pesos del modelo de red neuronal durante el entrenamiento. Los principales desafíos en los problemas de gradiente son los tiempos de entrenamiento prolongados, el bajo rendimiento y la poca precisión.

Diapositiva 5

Esta diapositiva enumera los tipos de redes neuronales recurrentes. Estos incluyen uno a uno, uno a muchos, muchos a uno, muchos a muchos.

Diapositiva 6

Esta diapositiva muestra tres variantes de arquitecturas de redes neuronales recurrentes. Estos incluyen redes neuronales recurrentes bidireccionales, memoria a largo plazo y unidades recurrentes cerradas.

Diapositiva 7

Esta diapositiva habla sobre la red neuronal recurrente bidireccional como arquitectura. Los RNN bidireccionales extraen datos futuros para aumentar la precisión, mientras que los RNN unidireccionales solo pueden basarse en entradas anteriores para crear predicciones sobre el estado actual.

Diapositiva 8

Esta diapositiva proporciona información sobre la memoria a largo plazo como arquitectura. LSTM es un diseño RNN bien conocido desarrollado por Sepp Hochreiter y Juergen Schmidhuber para abordar el problema del gradiente de fuga.

Notas del instructor: en las capas profundas de la red neuronal, los LSTM tienen "células" que tienen tres puertas: puerta de entrada, puerta de salida y puerta de olvido. Estas puertas regulan el flujo de datos necesarios para pronosticar la salida de la red.

Diapositiva 9

Esta diapositiva habla de las unidades recurrentes cerradas como arquitectura. Esta versión de RNN es similar a los LSTM porque también funciona para resolver el problema de memoria a corto plazo de los modelos RNN. Emplea estados ocultos en lugar de "estados de celda" para gobernar la información, y en lugar de tres puertas, solo tiene dos: una puerta de reinicio y una puerta de actualización.

Diapositiva 10

Esta diapositiva enumera las ventajas de las redes neuronales recurrentes. Estos beneficios son que los RNN pueden manejar cualquier longitud de entrada, recuerdan información, el tamaño del modelo no aumenta a medida que crece el tamaño de entrada, los pesos se pueden distribuir, etc.

Diapositiva 11

Esta diapositiva enumera las desventajas de las redes neuronales recurrentes. Los inconvenientes son que el cálculo es lento, los modelos pueden ser difíciles de entrenar y los problemas de explosión y gradiente de desaparición son comunes.

Diapositiva 12

Esta diapositiva enumera las aplicaciones de las redes neuronales recurrentes. Estos son reconocimiento de voz, modelado de lenguaje y generación de texto, generación de descripciones de imágenes, traducción automática, resumen de texto, etiquetado de video, detección de rostros y análisis del centro de llamadas.

Notas del instructor:

• Reconocimiento de voz: cuando las ondas de sonido de un medio se emplean como fuente de entrada, los RNN se pueden usar para pronosticar segmentos fonéticos. El conjunto de entradas comprende fonemas o señales acústicas de un archivo de audio que han sido adecuadamente procesados y utilizados como entradas
• Modelado y generación de lenguaje: los RNN intentan anticipar el potencial de la siguiente palabra utilizando una secuencia de palabras como entrada. Esta es una de las formas de traducción más útiles, ya que la oración más probable será la correcta. La probabilidad de un paso de salida de tiempo determinado se utiliza para muestrear las palabras en la siguiente iteración de este método.
• Generación de descripciones de imágenes: se utiliza una combinación de CNN y RNN para describir lo que sucede dentro de una imagen. La segmentación se realiza mediante CNN, y la descripción se recrea mediante RNN utilizando los datos segmentados.
• Traducción automática: los RNN se pueden usar para traducir texto de un idioma a otro de una forma u otra. Casi todos los sistemas de traducción en uso hoy en día emplean alguna forma de RNN avanzada. El idioma de origen se puede utilizar como entrada y la salida estará en el idioma de destino preferido del usuario.
• Resumen de texto: esta aplicación puede ayudar mucho a resumir el contenido de los libros y personalizarlo para su distribución en aplicaciones que no pueden manejar grandes cantidades de texto.
• Etiquetado de video: los RNN se pueden usar en la búsqueda de videos para describir la imagen de un video dividido en muchos cuadros
• Detección de rostros: el reconocimiento de imágenes es uno de los RNN más simples de entender. El método se basa en tomar una unidad de una imagen como entrada y producir la descripción de la imagen en varios grupos de salida.
• Análisis del centro de llamadas: todo el procedimiento se puede automatizar si se utilizan RNN para procesar y sintetizar el habla real de la llamada con fines de análisis.