MindMap Gallery Neuronale Netze und Deep Learning Convolutional Neural Networks

Neuronale Netze und Deep Learning Convolutional Neural Networks

Der Hauptinhalt von Faltungs-Neuronalen Netzen wird zusammengefasst, z. B. Grundkonzepte, Faltungsoperationen, Grundstrukturen, Parameterlernmethoden und einige Beispielstrukturen für Faltungs-Neuronale Netze.

Edited at 2023-02-26 23:13:29

tyyii7sc@bccto.c

Recent works View more works>>

Welche Preismethoden gibt es für Projektunteraufträge im Rahmen des EPC-Generalvertragsmodells
Welche Preismethoden gibt es für Projektunteraufträge im Rahmen des EPC-Generalvertragsmodells? EPC (Engineering, Procurement, Construction) bedeutet, dass der Generalunternehmer für den gesamten Prozess der Planung, Beschaffung, Konstruktion und Installation des Projekts verantwortlich ist und für die Testbetriebsdienste verantwortlich ist.
Wissenspunkte, die Java-Ingenieure in jeder Phase beherrschen müssen
Die Wissenspunkte, die Java-Ingenieure in jeder Phase beherrschen müssen, werden ausführlich vorgestellt und das Wissen ist umfassend. Ich hoffe, es kann für alle hilfreich sein.
Systemanalytiker – Software-Anforderungsentwicklung
Das Software-Anforderungs-Engineering ist ein Schlüsselkapitel für Systemanalytiker. Zu den Kapiteln „Anforderungserhebung“ und „Anforderungsanalyse“ gehören häufig Veröffentlichungen.

Neuronale Netze und Deep Learning Convolutional Neural Networks

tyyii7sc@bccto.c

Recent works View more works>>

Recommended to you
Outline

Neuronale Netze und wiederkehrende Deep-Learning-Neuronale Netze
- 2
tyyii7sc@bccto.c
Die Grundlage neuronaler Netze und Deep Learning
- 5
tyyii7sc@bccto.c
Handschriftliche Ziffernerkennung basierend auf einem verbesserten Sigmoid-Faltungs-Neuronalen Netzwerk
- 2
tyyii7sc@bccto.c
Faltungs-Neuronale Netze mit dynamischer Regularisierung
- 4
tyyii7sc@bccto.c
traditionelles neuronales Netzwerk
- 3
tyyii7sc@bccto.c
Neuronale Netze
- 4
tyyii7sc@bccto.c
Computer-Data-Mining-Kurs
- 2
tyyii7sc@bccto.c
Aufmerksamkeit ist alles, was Sie brauchen
- 3
Deu-Martina
Ensemble-Lernen
- 5
Deu-Martina
hierarchische Clusterbildung
- 4
Deu-Martina

Neuronale Netze und Deep Learning Faltungs-Neuronales Netzwerk

Einführung in CNN

Typische CNN-Strukturvorschau

Grundeigenschaften

Im Vergleich zum vollständig verbundenen Netzwerk FC handelt es sich bei CNN um eine lokale Verbindung, dh der Ausgang eines Neurons in der vorherigen Schicht ist nur mit dem Eingang mehrerer benachbarter Neuronen in der nächsten Schicht und dem Eingang eines Neurons in der nächsten Schicht verbunden Die Schicht empfängt nur die Eingabe der vorherigen Schicht. Die Ausgabe mehrerer benachbarter Neuronen

Parameterfreigabe

Rezeptionsfeld (Sichtfeld)

Die Eingabe eines Neurons in der aktuellen Schicht ist die Ausgabe mehrerer Neuronen in der Nähe der vorherigen Schicht, und was gefühlt wird, ist die Ausgabe benachbarter Neuronen in der vorherigen Schicht. Dieser Eingabebereich wird als Empfangsfeld des aktuellen Neurons bezeichnet.

Faltungskern

Die Signale innerhalb des Empfangsfeldes werden gewichtet, um die Aktivierung des aktuellen Neurons zu bilden. Benachbarte Neuronen haben unterschiedliche, aber gleiche Empfangsfelder (unabhängig von Grenzen).

Die Aktivierung jedes Neurons wird durch die gewichtete Summierung der Signale in ihren jeweiligen Sinnesfeldern unter Verwendung desselben Gewichtskoeffizientensatzes erzeugt, d. h. jedes Neuron verwendet denselben Gewichtskoeffizientenvektor. Dieser Satz gemeinsamer Gewichtskoeffizienten wird als Faltungskern bezeichnet .

Ungefähre Übersetzungsinvarianz

Eine Übersetzung des Eingangssignals hat die gleiche Übersetzung des Ausgangssignals

Die Eigenschaften der Faltungsoperation selbst sind die Grundeigenschaften linearer zeitinvarianter Systeme

Durch den richtigen Entwurf der Pooling-Einheit und die Auswahl der Aktivierungsfunktion kann CNN die Übersetzungsinvarianz annähernd aufrechterhalten.

Beispiel

Identifizieren Sie einen Hund auf einem Bild. Auch nach der Übersetzung handelt es sich um einen Hund.

Faltungsoperation und ihre physikalische Bedeutung

Faltungsoperation

Eingangssignal x(t)

Impulsantwort der Systemeinheit h(t) (CNN-Faltungskern)

Ausgangssignal y(t)

Faltungseigenschaften

Austauschbarkeit

Übersetzungsinvarianz

volle Faltungslänge

N K-1

Effektive Faltungslänge

N-K 1

physikalische Bedeutung

Filter

Tiefpassfilter

Extrahieren Sie die sich langsam ändernden niederfrequenten Komponenten des Signals

h1[n]={1/2,1/2}

Hochpassfilter

Extrahieren Sie sich schnell ändernde Hochfrequenzkomponenten von Signalen

h2[n]={1/2,-1/2}

Bandpassfilter

Extrahieren Sie mäßig unterschiedliche Zutaten

Faltungsfilterfunktion

Für ein komplexes Signal, das verschiedene Frequenzkomponenten enthält, können unterschiedliche Filter, die von unterschiedlichen Faltungskernen implementiert werden, Komponenten unterschiedlicher Skalen im Signal erhalten.

adaptive Filterung

Der Fehler zwischen der Ausgabe der Netzwerkausgabeschicht und der erwarteten Antwort wird zum Trainieren des Ausgabeschichtnetzwerks verwendet

Der BP-Algorithmus gibt den Ausgabeschichtfehler an jede vorherige Schicht zurück und trainiert die Faltungskerne jeder Schicht nacheinander mithilfe des Rückübertragungsfehlers.

Die Struktur des grundlegenden CNN

Eindimensionale Faltung

Neuronenaktivierungswert

Neuronenausgang

Gleichgerichtete lineare Aktivierungsfunktion ReLU

z=max{0,a}

Faltungskanal

Faltungsoperation zwischen Eingabe und Faltungskern. Aktivierungsfunktionsoperation

Vergleichen Sie es mit einem vollständig verbundenen Netzwerk

Wenige gemeinsame Parameter

Teilen und erobern Sie Eingabemerkmale unterschiedlicher Art

2D-Faltung

Formel

Bildverständnis

Die zweidimensionale Faltungsoperation entspricht dem Verschieben von hij im Xij-Datenarray. Wenn amn berechnet werden muss, wird h00 verschoben, um es an Xmn auszurichten, und dann wird der Produktterm Xm in j hij berechnet und addiert.

Die effektive Faltungsausgabegröße beträgt (D1-K1 1)×(D2-K2 1)

Erkennungsebene

Berechnen Sie die Aktivierungsfunktion und die Neuronenleistung

Mehrkanalfaltung

Faltungskanal/Faltungsebene

Die von jedem Faltungskern h durch Faltungsoperation erzeugte Matrix

Beispiel

eingeben

32×32-Bild, 3 Kanäle, die drei RGB-Primärfarben darstellen

Faltungskern

6 5×5-Faltungskerne, zwei für jeden Eingangskanal

Ausgabe

Erzeugt 6 28×28-Faltungskanäle

Pooling

maximales Pooling

Beim Pooling wird der Maximalwert des Fensters verwendet, d. h. der Maximalwert innerhalb eines kleinen Fensters wird als Pooling-Ergebnis ausgewählt

durchschnittliches Pooling

Durchschnitt innerhalb des Fensters als Pooling-Ergebnis

Dezimierungspooling

Festkommawert innerhalb des Fensters als Pooling-Ergebnis

Fenstereigenschaften

Größe

M1×M2

gemeinsamen Schritt

Nullauffüllungsfaltung gleicher Länge

K ist eine ungerade Zahl

Fügen Sie (K-1)/2 Nullen an beiden Enden der Eingabe hinzu

K ist eine gerade Zahl

Fügen Sie K/2 Nullen auf einer Seite und (K/2)-1 Nullen auf der anderen Seite hinzu.

Bilden Sie CNN

Zusammensetzung der Faltungsschichten

Faltungsoperationsphase

Erkennungsstufe (ReLU-Funktion)

Pooling (optional)

Typische CNN-Netzwerkstruktur

Einige erweiterte Faltungsstrukturen

Tensorfaltung

3D-Datenvolumen

Tensor-Faltungskern

Faltungsebene

Kanaldimensionale Faltung

Extrahieren Sie verschiedene Merkmale der Kanaldimension

1×1 Faltungskern

S-Stride-Faltung

Lernen von CNN-Parametern

Die Idee des BP-Algorithmus von CNN

Vorwärtsausbreitung

Faltungsberechnung der Faltungsschicht

FC-Schicht vollständig verbundene Berechnungsaktivierungsausgabe

Die Pooling-Schicht führt das Pooling durch

Backpropagation

Die FC-Schicht wird gemäß dem Standard-BP-Backpropagation-Algorithmus berechnet.

Backpropagation-Algorithmus der Faltungsschicht und der Pooling-Schicht

Backpropagation-Formel für Faltungsschichten

Backpropagation-Formel für die Pooling-Schicht

2D-Erweiterung

CNN-Beispieleinführung

LeNet-5-Netzwerk

AlexNet-Netzwerk und VGGNet-Netzwerk

Aktivierungsfunktion

Die ReLU-Aktivierungsfunktion trainiert sechsmal schneller als die Tanh-Aktivierungsfunktion

AlexNet-Struktur

VGGNet-Struktur

Verwenden Sie tiefere Schichten, kleinere Faltungskerne und mehrere Faltungsschichten, die einer Pooling-Schicht entsprechen.

Ideen zur Verbesserung der Trainingseffekte

Erzielen Sie bessere Trainingsergebnisse, indem Sie die CNN-Tiefe erhöhen

Eine direkte Erhöhung der Schichtanzahl wird negative Auswirkungen haben

Leicht zu überpassen

Farbverlauf verschwindet

Gradientenexplosion

GoogLeNetNetwork

Makrokonstruktionsmodul Inception

4 parallele Zweige

Generieren Sie Ausgaben durch Verzweigen und Zusammenführen von Modulen

Jeder Zweig enthält eine 1×1-Faltung

Der Zweck besteht darin, durch Teilen und Herrschen Parameter und Rechenkomplexität zu reduzieren

Struktur

Restnetze und dichte Netze

Restnetzwerk

Problem der Netzwerkverschlechterung

Die Genauigkeit des Trainingssatzes ist gesättigt oder sinkt sogar.

Verbleibende Netzwerkeigenschaften

Lässt sich leicht optimieren und kann die Genauigkeit durch Hinzufügen erheblicher Tiefe verbessern

Der Restblock innerhalb des Restnetzwerks verwendet Sprungverbindungen, was das Problem des verschwindenden Gradienten lindert, das durch die zunehmende Tiefe im tiefen neuronalen Netzwerk verursacht wird.

Restbausteine

Restgitterstruktur

dichtes Netzwerk

Dichte Netzwerkeigenschaften

Behalten Sie die Struktur des Feedforward-Netzwerks bei und verbinden Sie die Ausgabe der Eingabeschicht oder der aktuellen Schicht mit der Eingabe jeder nachfolgenden Schicht

Für L-Layer-Netzwerke können L(L-1)/2-Verbindungen vorhanden sein

dichte Netzwerkstruktur