Funciones principales del aprendizaje profundo Ppt

Diapositiva 1

Esta diapositiva establece varios tipos de funciones de aprendizaje profundo: función de activación sigmoidea, tan-h (función de tangente hiperbólica), ReLU (unidades lineales rectificadas), funciones de pérdida y funciones de optimización.

Diapositiva 2

Esta diapositiva ofrece una descripción general de la función de activación sigmoidea que tiene la fórmula f(x) = 1/(1+exp (-x)). La salida varía de 0 a 1. No está centrada en cero. La función tiene un problema de gradiente de fuga. Cuando se produce la retropropagación, las pequeñas derivadas se multiplican juntas y el gradiente disminuye exponencialmente a medida que nos propagamos a las capas iniciales.

Diapositiva 3

Esta diapositiva indica que la función Tangente hiperbólica tiene la siguiente fórmula: f(x) = (1-exp(-2x))/(1+exp(2x)). El resultado está entre -1 y +1. Está centrado en cero. Cuando se compara con la función Sigmoid, la convergencia de optimización es simple, pero la función tan-h aún sufre el problema del gradiente de fuga.

Diapositiva 4

Esta diapositiva ofrece una descripción general de ReLU (Unidades lineales rectificadas). La función es del tipo f(x) = max(0,x) i,e 0 cuando x<0, x cuando x>0. Cuando se compara con la función tan-h, la convergencia ReLU es mayor. El problema del gradiente de fuga no afecta la función y solo se puede usar dentro de las capas ocultas de la red.

Diapositiva 5

Esta diapositiva enumera los tipos de funciones de pérdida como un componente del aprendizaje profundo. Estos incluyen error absoluto medio, error cuadrático medio, pérdida de bisagra y entropía cruzada.

Diapositiva 6

Esta diapositiva indica que el error absoluto medio es una estadística para calcular la diferencia absoluta entre los valores esperados y los reales. Divida el total de todas las diferencias absolutas por el número de observaciones. No penaliza los valores grandes con tanta dureza como el error cuadrático medio (MSE).

Diapositiva 7

Esta diapositiva describe que el MSE se determina sumando los cuadrados de la diferencia entre los valores esperados y reales y dividiendo por el número de observaciones. Es necesario prestar atención cuando el valor de la métrica es mayor o menor. Solo es aplicable cuando tenemos valores inesperados para los pronósticos. No podemos confiar en MSE ya que podría aumentar mientras el modelo funciona bien.

Diapositiva 8

Esta diapositiva explica que la función de pérdida de bisagra se ve comúnmente en las máquinas de vectores de soporte. La función tiene la forma = max[0,1-yf(x)]. Cuando yf(x)>=0, la función de pérdida es 0, pero cuando yf(x)<0 el error aumenta exponencialmente, penalizando desproporcionadamente los puntos mal clasificados que están lejos del margen. Como resultado, la inexactitud crecería exponencialmente hasta esos puntos.

Diapositiva 9

Esta diapositiva indica que la entropía cruzada es una función logarítmica que predice valores que van de 0 a 1. Evalúa la efectividad de un modelo de clasificación. Como resultado, cuando el valor es 0,010, la pérdida de entropía cruzada es más significativa y el modelo funciona mal en la predicción.

Diapositiva 10

Esta diapositiva enumera las funciones del optimizador como parte del aprendizaje profundo. Estos incluyen descenso de gradiente estocástico, adagrad, adadelta y adam (estimación de momento adaptativo).

Diapositiva 11

Esta diapositiva indica que la estabilidad de la convergencia del Descenso de Gradiente Estocástico es una preocupación, y aquí surge el tema del Mínimo Local. Dado que las funciones de pérdida varían mucho, calcular el mínimo global lleva mucho tiempo.

Diapositiva 12

Esta diapositiva indica que no hay necesidad de ajustar la tasa de aprendizaje con esta función de Adagrad manualmente. Sin embargo, el inconveniente fundamental es que la tasa de aprendizaje sigue cayendo. Como resultado, cuando la tasa de aprendizaje se reduce demasiado en cada iteración, el modelo no adquiere más información.

Diapositiva 13

Esta diapositiva indica que en adadelta, se resuelve la tasa de aprendizaje decreciente, se calculan distintas tasas de aprendizaje para cada parámetro y se determina el impulso. La principal distinción es que esto no guarda los niveles de impulso individuales para cada parámetro; y la función de optimización de Adam corrige este problema.

Diapositiva 14

Esta diapositiva describe que, en comparación con otros modelos adaptativos, las tasas de convergencia son más altas en el modelo de Adam. Se cuidan las tasas de aprendizaje adaptativo para cada parámetro. Como se tiene en cuenta el impulso para cada parámetro, esto se emplea comúnmente en todos los modelos de aprendizaje profundo. El modelo de Adam es altamente eficiente y rápido.