Comprima los valores de las características de entrada en un amplio rango entre 0 y 1, de modo que la amplitud de los datos se pueda mantener sin cambios importantes en redes profundas.

Más cercano a las neuronas biológicas en un sentido físico.

Dependiendo de su rango de salida, esta función es adecuada para modelos que tienen probabilidades predichas como salida.

Cuando la entrada es muy grande o muy pequeña, la salida es básicamente constante, es decir, el cambio es muy pequeño, lo que hace que el gradiente se acerque a 0.

Los gradientes pueden desaparecer prematuramente, lo que resulta en una convergencia más lenta.

Las operaciones exponenciales consumen relativamente mucho tiempo.

La salida no es de media 0, lo que hace que las neuronas de la siguiente capa obtengan como entrada la señal de salida de media no 0 de la capa anterior. A medida que la red se profundice, la tendencia de distribución de los datos originales cambiará.

Resuelva el problema de que la salida de la función sigmoidea anterior no es media 0

La derivada de la función Tanh varía de 0 a 1, que es mejor que la de 0 a 0,25 de la función sigmoidea, lo que alivia hasta cierto punto el problema de la desaparición de los gradientes.

La función Tanh es similar a la función y = x cerca del origen. Cuando el valor de activación de entrada es bajo, las operaciones matriciales se pueden realizar directamente y el entrenamiento es relativamente fácil.

Similar a la función sigmoidea, el problema del gradiente evanescente todavía existe

Observe sus dos formas de expresión, a saber, 2*sigmoidea(2x)-1 y (exp(x)-exp(-x))/(exp(x) exp(-x)). el funcionamiento eléctrico todavía existe

En comparación con la función sigmoidea y la función Tanh, cuando la entrada es positiva, la función Relu no tiene un problema de saturación, lo que resuelve el problema de la desaparición del gradiente y hace que la red profunda sea entrenable.

La velocidad de cálculo es muy rápida, solo necesita determinar si la entrada es mayor que el valor 0

La velocidad de convergencia es mucho más rápida que las funciones sigmoidea y Tanh.

La salida de Relu hará que algunas neuronas tengan un valor de 0, lo que no solo traerá escasez de red, sino que también reducirá la correlación entre los parámetros, lo que alivia el problema del sobreajuste hasta cierto punto;

La salida de la función Relu no es una función con 0 como media.

Hay un problema de Dead Relu, es decir, es posible que algunas neuronas nunca se activen, lo que hace que los parámetros correspondientes nunca se actualicen. Las razones principales de este problema incluyen problemas de inicialización de parámetros y configuraciones de tasa de aprendizaje demasiado grandes;

Cuando la entrada es un valor positivo y la derivada es 1, en la "reacción en cadena", el gradiente no desaparecerá, pero la fuerza del descenso del gradiente depende completamente del producto de los pesos, lo que puede provocar el problema de la explosión del gradiente. .

En respuesta al problema de Dead Relu que existe en la función Relu, la función Leaky Relu le da al valor de entrada una pendiente muy pequeña cuando la entrada es un valor negativo. Sobre la base de resolver el problema de gradiente 0 en el caso de una entrada negativa. También se alivia el problema de Dead Relu.

La salida de esta función es de infinito negativo a infinito positivo, es decir, con fugas expande el rango de la función Relu, donde el valor de α generalmente se establece en un valor más pequeño, como 0,01.

En teoría, esta función tiene mejores efectos que la función Relu, pero mucha práctica ha demostrado que su efecto es inestable, por lo que no hay muchas aplicaciones de esta función en la práctica.

Los resultados inconsistentes debido a diferentes funciones aplicadas en diferentes intervalos darán como resultado la incapacidad de proporcionar predicciones de relaciones consistentes para valores de entrada positivos y negativos.

El primer paso de softmax es transformar los resultados de predicción del modelo en una función exponencial, asegurando así la naturaleza no negativa de la probabilidad.

El método consiste en dividir los resultados convertidos por la suma de todos los resultados convertidos, que puede entenderse como el porcentaje de los resultados convertidos en el total. Esto da probabilidades aproximadas.

La entropía cruzada se puede utilizar como función de pérdida en redes neuronales (aprendizaje automático). p representa la distribución de etiquetas reales y q es la distribución de etiquetas predicha del modelo entrenado. La función de pérdida de entropía cruzada puede medir la similitud entre p y q. .

Otro beneficio de la entropía cruzada como función de pérdida es que el uso de la función sigmoidea durante el descenso del gradiente puede evitar el problema de la reducción de la tasa de aprendizaje de la función de pérdida de error cuadrático medio, porque la tasa de aprendizaje puede controlarse mediante el error de salida.

Considere p (i) como la distribución de probabilidad real y q (i) como la distribución de probabilidad predicha. Si usamos la entropía cruzada como función de pérdida, cuando la minimizamos, podemos hacer que q (i) se acerque gradualmente a p (i). Se logra el propósito de ajuste.

Saque ciertos valores predichos individualmente o asigne parámetros de diferentes tamaños

Tareas de entrenamiento multiobjetivo, establecimiento de métodos razonables de combinación de pérdidas (varias operaciones)

Se combinan diferentes pérdidas de la red neuronal para entrenar y guiar la red en conjunto.

Fijo, es decir, tasa de aprendizaje fija, es la configuración más simple y requiere solo un parámetro.

La tasa de aprendizaje permanece sin cambios durante todo el proceso de optimización. Esta es una estrategia que rara vez se utiliza, porque a medida que se acerca al punto óptimo global, la tasa de aprendizaje debe volverse cada vez más pequeña para evitar omitir el punto óptimo.

tasa de aprendizaje adaptativo

Se puede ver en el algoritmo AdaGrad que a medida que el algoritmo continúa iterando, r se hará cada vez más grande y la tasa de aprendizaje general será cada vez menor. Por lo tanto, en términos generales, el algoritmo AdaGrad comienza con una convergencia de incentivos y luego lentamente se convierte en una convergencia de penalización y la velocidad se vuelve cada vez más lenta.

El algoritmo RMSProp no acumula gradientes cuadrados de forma violenta y directa como el algoritmo AdaGrad, sino que agrega un coeficiente de atenuación para controlar cuánta información histórica se obtiene.

En pocas palabras, después de establecer la tasa de aprendizaje global, para cada pasada, la tasa de aprendizaje global se divide parámetro por parámetro por la raíz cuadrada de la suma cuadrada de los gradientes históricos controlados por el coeficiente de atenuación, de modo que la tasa de aprendizaje de cada El parámetro es diferente.

La dirección es diferente y la búsqueda es más precisa.

La diferencia entre abandono y agrupación

Durante la propagación hacia adelante, dejamos que el valor de activación de una determinada neurona deje de funcionar con una cierta probabilidad p, lo que puede hacer que el modelo sea más generalizable porque no dependerá demasiado de ciertas características locales.

¿Qué efecto tiene la regularización sobre el parámetro w?

¿Qué es la pérdida de peso y cómo se relaciona con la regularización?

No es necesario actualizar la mayoría de los parámetros y los parámetros reales se reducen considerablemente.

Congele parte de las capas convolucionales del modelo previamente entrenado (generalmente la mayoría de las capas convolucionales cercanas a la entrada, ya que estas capas retienen mucha información subyacente) o incluso congele cualquier capa de red y entrene las capas convolucionales restantes (generalmente las partes cercanas a la capa convolucional de salida) y la capa completamente conectada.

El principio del ajuste fino es utilizar la estructura de red conocida y los parámetros de red conocidos, modificar la capa de salida a nuestra propia capa y ajustar los parámetros de varias capas antes de la última capa, utilizando así de manera efectiva las poderosas capacidades de generalización de la profundidad. redes neuronales. capacidades de ajuste fino y elimina la necesidad de diseñar modelos complejos y entrenamiento que requiere mucho tiempo, por lo que el ajuste fino es una opción más adecuada cuando la cantidad de datos es insuficiente.

significado

modelo migratorio