Wondershare EdrawMind
EdrawMindRedes neuronales y redes neuronales recurrentes de aprendizaje profundo
Galería de mapas mentales Redes neuronales y redes neuronales recurrentes de aprendizaje profundo
- 6
Redes neuronales y redes neuronales recurrentes de aprendizaje profundo
Resumió el contenido básico de la red neuronal recurrente RNN, como los principios estructurales básicos de RNN, el algoritmo BPTT para el entrenamiento de cálculo de RNN, el modelo de memoria a corto plazo LSTM y los principios básicos de la unidad recurrente cerrada GRU, etc.
Editado a las 2023-02-27 15:20:16,- Breve historia del tiempo
Este es un mapa mental sobre una breve historia del tiempo. "Una breve historia del tiempo" es una obra de divulgación científica con una influencia de gran alcance. No sólo presenta los conceptos básicos de cosmología y relatividad, sino que también analiza los agujeros negros y la expansión. del universo. temas científicos de vanguardia como la inflación y la teoría de cuerdas.
- ¿Cuáles son los métodos de fijación de precios para los subcontratos de proyectos bajo el modelo de contratación general EPC
¿Cuáles son los métodos de fijación de precios para los subcontratos de proyectos bajo el modelo de contratación general EPC? EPC (Ingeniería, Adquisiciones, Construcción) significa que el contratista general es responsable de todo el proceso de diseño, adquisición, construcción e instalación del proyecto, y es responsable de los servicios de operación de prueba.
- Puntos de conocimiento que los ingenieros de Java deben dominar en cada etapa
Los puntos de conocimiento que los ingenieros de Java deben dominar en cada etapa se presentan en detalle y el conocimiento es completo, espero que pueda ser útil para todos.
Redes neuronales y redes neuronales recurrentes de aprendizaje profundo
- Breve historia del tiempo
Este es un mapa mental sobre una breve historia del tiempo. "Una breve historia del tiempo" es una obra de divulgación científica con una influencia de gran alcance. No sólo presenta los conceptos básicos de cosmología y relatividad, sino que también analiza los agujeros negros y la expansión. del universo. temas científicos de vanguardia como la inflación y la teoría de cuerdas.
- ¿Cuáles son los métodos de fijación de precios para los subcontratos de proyectos bajo el modelo de contratación general EPC
¿Cuáles son los métodos de fijación de precios para los subcontratos de proyectos bajo el modelo de contratación general EPC? EPC (Ingeniería, Adquisiciones, Construcción) significa que el contratista general es responsable de todo el proceso de diseño, adquisición, construcción e instalación del proyecto, y es responsable de los servicios de operación de prueba.
- Puntos de conocimiento que los ingenieros de Java deben dominar en cada etapa
Los puntos de conocimiento que los ingenieros de Java deben dominar en cada etapa se presentan en detalle y el conocimiento es completo, espero que pueda ser útil para todos.
- Recomendados
- Resumen
Redes neuronales y aprendizaje profundo red neuronal recurrente
RNN básico
secuencialmente
Los datos están ordenados, los miembros adyacentes de la secuencia a menudo están relacionados.
La red neuronal convolucional CNN puede procesar este tipo de datos de secuencia, pero no es lo suficientemente flexible. La red neuronal recurrente RNN con bucle de retroalimentación es más adecuada para procesar este tipo de datos de secuencia.
Diagrama esquemático del principio RNN.
Ecuación de estado
Variables de estado
Indica cambios en el sistema y capacidades de memoria.
El estado actual está relacionado con el estado del último momento y la entrada actual.
La variable de estado recuerda la contribución de la secuencia de entrada desde el momento de inicio.
sistema dinámico lineal
sistema dinámico no lineal
Cálculo y entrenamiento de RNN
cálculo de unidades
Ampliar gráfico de cálculo
algoritmo BPTT
Red RNN profunda
dependencia a largo plazo
razón
Término de propagación de errores hacia atrás
Después del paso de tiempo de secuencia N
El valor propio de W es mayor que 1
explosión de gradiente
El valor propio de W es menor que 1
el gradiente desaparece
Solución
Método de truncamiento de gradiente (gradiente límite de umbral)
Método RNN cerrado
Modelo de memoria a corto plazo LSTM
Unidad de recirculación cerrada GRU
Modelo de memoria a corto plazo LSTM
Diagrama de expansión del cálculo LSTM
Método para realizar
Ideas
Divida los vectores de la memoria en "memoria a largo plazo" y "memoria a corto plazo".
memoria a largo plazo
vector de celda de memoria
Controlar la memoria del bucle interno y olvidar
memoria de corto plazo
vector oculto
Entrada a la red de control después del retardo del bucle (bucle externo)
proceso de memoria cerrada
puerta del olvido
controlar el nivel de memoria
memoria
olvidar
memoria parcial
puerta de entrada
Células de memoria candidatas
Efectos de la entrada en las células de memoria.
Composición actual de nuevas células de memoria.
Las celdas de memoria retienen componentes en el momento anterior. El impacto de la entrada actual en las celdas de memoria.
puerta de salida
Unidad de recirculación cerrada GRU
Diagrama de expansión del cálculo de GRU
proceso de memoria cerrada
restablecer puerta
Afecta a la nueva generación de memoria.
actualizar puerta
Controlar la memoria y olvidar los aportes históricos y nuevos.
Estado oculto candidato (memoria del candidato)
Controlar nuevos elementos memorizados
salida de estado
El componente de retención del estado oculto del momento anterior y la influencia de la entrada actual.
Comparación de LSTM y GRU
GRU puede considerarse como una versión simplificada de LSTM, que es equivalente a LSTM en rendimiento. Utiliza la puerta de actualización para reemplazar la puerta de olvido y la puerta de entrada.