Redes neuronales convolucionales con regularización dinámica.

Galería de mapas mentales Redes neuronales convolucionales con regularización dinámica.

Redes neuronales convolucionales con regularización dinámica.

Redes neuronales convolucionales con regularización dinámica: capítulo 1 Antecedentes del problema: La regularización dinámica se propuso para abordar dos deficiencias principales de los métodos de regularización: 1) la fuerza (o amplitud) de la regularización es inflexible para diferentes arquitecturas de red 2) La fuerza de la regularización es constante durante todo el entrenamiento proceso.

Editado a las 2023-01-09 20:02:07,

e7qw4qya@bccto.cc

Trabajos recientes Ver más trabajos>>

Redes neuronales convolucionales con regularización dinámica.

e7qw4qya@bccto.cc

Trabajos recientes Ver más trabajos>>

Recomendados
Resumen

(Fuera del primer trimestre de 2021) Redes neuronales convolucionales con regularización dinámica

Antecedentes del problema del capítulo 1.

Se propuso la regularización dinámica para abordar dos deficiencias principales de los métodos de regularización:

1) La fuerza de la regularización (o amplitud) es inflexible para diferentes arquitecturas de red 2) La fuerza de la regularización es constante durante todo el proceso de entrenamiento

cap2 MÉTODO PROPUESTO

1) Introducir la regularización dinámica en la estructura Res

Bloque Res de 2 ramas con regularización dinámica, que representa la diferencia hacia atrás de la pérdida de entrenamiento

① La unidad de regularización dinámica está integrada en la rama Res del bloque Res:

A es la amplitud constante, si es el factor dinámico en la i-ésima iteración y r es el ruido aleatorio uniforme.

② La amplitud de regularización está relacionada con , r∈ [−R, R],

, es el número total de bloques Res

③ En el pase hacia adelante, la salida del (l 1)ésimo bloque Res se puede expresar como:

En el pase hacia atrás, el ruido está relacionado con

2) Actualización de la fuerza de regularización

La solución de actualización propuesta de la fuerza de regularización dinámica se logra a través de la dinámica de la pérdida de entrenamiento. En particular, la dinámica de las pérdidas de entrenamiento se puede modelar como la diferencia hacia atrás entre las pérdidas de entrenamiento en iteraciones consecutivas:

representa la pérdida de entrenamiento en la i-ésima iteración

Para eliminar las fluctuaciones en la entrada de minilotes consecutivos, aplique un filtro gaussiano para suavizarlas:

resultados experimentales del capítulo 3

2 Estructura ramificada y estructura densa.

Los resultados experimentales en estructuras de enlaces densas muestran que nuestra regularización dinámica es estable y reduce el error Top-1 en un 1,67%.

estructura de 3 ramas

Los resultados en la Tabla I y la Tabla II muestran que la regularización dinámica propuesta se puede adaptar a varias arquitecturas de red en comparación con los métodos de regularización más recientes Shake-Shake, Shake-Drop y DropBlok en estructuras de 2 y 3 ramas. En comparación con la línea de base, el método propuesto en este artículo puede reducir el error en más del 2% en promedio.

estudio y discusión sobre ablación capítulo 4

1) Efectividad de la regularización dinámica

2) Lista de puntos fuertes de la regularización

3) Ruido aleatorio

4) filtro gaussiano