En comparación con la red FC completamente conectada, CNN es una conexión local, es decir, la salida de una neurona en la capa anterior solo está conectada a la entrada de varias neuronas adyacentes en la siguiente capa, y la entrada de una neurona en la siguiente La capa solo recibe la entrada de la capa anterior y la salida de varias neuronas vecinas.

Campo receptivo (campo de visión)

Núcleo de convolución

Una traducción de la señal de entrada tiene la misma traducción de la señal de salida.

Las propiedades de la operación de convolución en sí, las propiedades básicas de los sistemas lineales invariantes en el tiempo.

Al diseñar adecuadamente la unidad de agrupación y seleccionar la función de activación, CNN puede mantener aproximadamente la invariancia de traducción.

Ejemplo

N K-1

NK 1

filtro de paso bajo

filtro de paso alto

filtro de paso de banda

Para una señal compleja que contiene varios componentes de frecuencia, diferentes filtros implementados por diferentes núcleos de convolución pueden obtener componentes de diferentes escalas en la señal.

El error entre la salida de la capa de salida de la red y la respuesta esperada se utiliza para entrenar la red de la capa de salida.

El algoritmo BP propaga hacia atrás el error de la capa de salida a cada capa anterior y entrena los núcleos de convolución de cada capa por turno utilizando el error de propagación hacia atrás.

z=máx{0,a}

Operación de convolución entre la entrada y el núcleo de convolución Operación de la función de activación

Pocos parámetros compartidos

Divide y conquistarás características de entrada de diferentes naturalezas

La operación de convolución bidimensional es equivalente a deslizar hij en la matriz de datos Xij. Cuando es necesario calcular amn, h00 se desliza para alinearse con Xmn, y luego se calcula y suma el término producto Xm en j hij.

El tamaño de salida de convolución efectivo es (D1-K1 1)×(D2-K2 1)

La matriz generada por cada núcleo de convolución h mediante la operación de convolución

ingresar

Núcleo de convolución

producción

Agrupación que toma el valor máximo de la ventana, es decir, selecciona el valor máximo dentro de una ventana pequeña como resultado de la agrupación.

Promedio dentro de la ventana como resultado de la agrupación

Valor de punto fijo dentro de la ventana como resultado de la agrupación

tamaño

zancada conjunta

Agregue (K-1)/2 ceros a ambos extremos de la entrada

Agregue K/2 ceros a un lado y (K/2)-1 ceros al otro lado.

Etapa de operación de convolución

Nivel de detección (función ReLU)

Agrupación (opcional)

volumen de datos 3D

núcleo de convolución tensorial

plano de convolución

Extraer diferentes características de la dimensión del canal.

Núcleo de convolución 1 × 1

Cálculo de convolución de la capa convolucional

Salida de activación de cálculo totalmente conectada de la capa FC

La capa de agrupación realiza la agrupación

La capa FC se calcula según el algoritmo de retropropagación estándar de BP.

Algoritmo de retropropagación de capa convolucional y capa de agrupación

La función de activación ReLU entrena 6 veces más rápido que la función de activación tanh

Utilice capas más profundas, núcleos de convolución más pequeños y múltiples capas de convolución correspondientes a una capa de agrupación.

Obtenga mejores resultados de entrenamiento aumentando la profundidad de CNN

Un aumento directo en el número de capas traerá efectos negativos.

4 ramas paralelas

Genere resultados ramificando y fusionando módulos

Cada rama contiene una convolución de 1 × 1.

El propósito es dividir y conquistar para reducir los parámetros y la complejidad computacional.

problema de degradación de la red

Características de la red residual.

bloque de construcción residual

estructura de rejilla residual

Características de la red densa

estructura de red densa