Galería de mapas mentales Análisis de red clásico
Se presentan las características detalladas de algunas redes clásicas y se comparten los conocimientos de AlexNet, ZLNet, VGG, GoogleNet y resnet. Todos son bienvenidos a aprender.
Editado a las 2023-07-27 22:46:54,El cáncer de pulmón es un tumor maligno que se origina en la mucosa bronquial o las glándulas de los pulmones. Es uno de los tumores malignos con mayor morbilidad y mortalidad y mayor amenaza para la salud y la vida humana.
La diabetes es una enfermedad crónica con hiperglucemia como signo principal. Es causada principalmente por una disminución en la secreción de insulina causada por una disfunción de las células de los islotes pancreáticos, o porque el cuerpo es insensible a la acción de la insulina (es decir, resistencia a la insulina), o ambas cosas. la glucosa en la sangre es ineficaz para ser utilizada y almacenada.
El sistema digestivo es uno de los nueve sistemas principales del cuerpo humano y es el principal responsable de la ingesta, digestión, absorción y excreción de los alimentos. Consta de dos partes principales: el tracto digestivo y las glándulas digestivas.
El cáncer de pulmón es un tumor maligno que se origina en la mucosa bronquial o las glándulas de los pulmones. Es uno de los tumores malignos con mayor morbilidad y mortalidad y mayor amenaza para la salud y la vida humana.
La diabetes es una enfermedad crónica con hiperglucemia como signo principal. Es causada principalmente por una disminución en la secreción de insulina causada por una disfunción de las células de los islotes pancreáticos, o porque el cuerpo es insensible a la acción de la insulina (es decir, resistencia a la insulina), o ambas cosas. la glucosa en la sangre es ineficaz para ser utilizada y almacenada.
El sistema digestivo es uno de los nueve sistemas principales del cuerpo humano y es el principal responsable de la ingesta, digestión, absorción y excreción de los alimentos. Consta de dos partes principales: el tracto digestivo y las glándulas digestivas.
Análisis de red clásico
alexnet
estructura
8 pisos en total
5 capas convolucionales
3 capas de capas completamente conectadas
efecto
Aprenda características estructurales a partir de datos que sean significativos para la clasificación.
Describir información estructural en la imagen de entrada.
Los resultados de la descripción se almacenan en 256 mapas de respuesta de características de 6x6.
ZLNet
Misma estructura que AlexNet
Mejorar
Cambiar el núcleo de convolución anterior a un tamaño más pequeño
Aumente el tamaño del paso para extraer funciones con éxito
Aumentar el número de núcleos de convolución tardíos
VGG
Red neuronal de 16 capas
13 capas convolucionales
3 capas completamente conectadas
Mejorar
Utilice núcleos de convolución de 3x3 más pequeños en serie para obtener un campo receptivo más grande
Mayor profundidad, mayor no linealidad y menos parámetros de red
Eliminar la capa LRN de AlexNet
Resumir
Ventajas del núcleo de convolución pequeño
Varios núcleos de convolución de tamaño pequeño conectados en serie pueden obtener el mismo campo receptivo que los núcleos de convolución de gran tamaño y requieren menos parámetros de entrenamiento.
Razones para la convolución a 512
Hay muchos parámetros para recopilar y expresar características tanto como sea posible.
Si hay demasiados parámetros, será fácil sobreajustarlo y no será adecuado para el entrenamiento.
GoogleNet
piso 22
Innovación
Proponer la estructura inicial, que puede retener más información característica de la señal de entrada.
Agregue una capa de cuello de botella y cambie la cantidad de canales de convolución
Elimine la capa completamente conectada y utilice la agrupación promedio, lo que da como resultado solo 5 millones de parámetros, 12 veces menos que AlexNet.
Se introduce un clasificador auxiliar en el medio de la red para superar el problema del gradiente que desaparece durante el entrenamiento.
Resumir
La diferencia entre la vectorización de agrupación promedio y la vectorización de expansión directa
El valor de cada posición en el mapa de respuesta de características refleja la similitud entre la estructura de la posición correspondiente en la imagen y la estructura semántica registrada por el núcleo de convolución.
La agrupación promedio pierde la información de ubicación espacial de las estructuras semánticas
Ignorar la información de posición de la estructura semántica ayuda a mejorar la invariancia de traducción de las características extraídas por la capa convolucional.
resnet
Profundizar las capas de la red
Las redes más profundas parecen ser inferiores a las redes menos profundas
razón
Durante el proceso de capacitación, la información positiva y negativa de la red no fluye sin problemas y la red no está completamente capacitada.
Innovación
Módulo residual propuesto
Al apilar módulos residuales, se pueden construir redes neuronales de profundidad arbitraria sin "degradación".
normalización de lotes propuesta
Combata la desaparición del gradiente y reduzca la dependencia de la inicialización del peso durante el entrenamiento de la red.
Proponer un método de inicialización para la función de activación de ReLU
Razones del buen desempeño de la red residual
puede considerarse como un modelo integrado