Wondershare EdrawMind
EdrawMindNeuronale Netze und Deep Learning Convolutional Neural Networks
Mindmap-Galerie Neuronale Netze und Deep Learning Convolutional Neural Networks
- 5
Neuronale Netze und Deep Learning Convolutional Neural Networks
Der Hauptinhalt von Faltungs-Neuronalen Netzen wird zusammengefasst, z. B. Grundkonzepte, Faltungsoperationen, Grundstrukturen, Parameterlernmethoden und einige Beispielstrukturen für Faltungs-Neuronale Netze.
Bearbeitet um 2023-02-26 23:13:29- Welche Preismethoden gibt es für Projektunteraufträge im Rahmen des EPC-Generalvertragsmodells
Welche Preismethoden gibt es für Projektunteraufträge im Rahmen des EPC-Generalvertragsmodells? EPC (Engineering, Procurement, Construction) bedeutet, dass der Generalunternehmer für den gesamten Prozess der Planung, Beschaffung, Konstruktion und Installation des Projekts verantwortlich ist und für die Testbetriebsdienste verantwortlich ist.
- Wissenspunkte, die Java-Ingenieure in jeder Phase beherrschen müssen
Die Wissenspunkte, die Java-Ingenieure in jeder Phase beherrschen müssen, werden ausführlich vorgestellt und das Wissen ist umfassend. Ich hoffe, es kann für alle hilfreich sein.
- Systemanalytiker – Software-Anforderungsentwicklung
Das Software-Anforderungs-Engineering ist ein Schlüsselkapitel für Systemanalytiker. Zu den Kapiteln „Anforderungserhebung“ und „Anforderungsanalyse“ gehören häufig Veröffentlichungen.
Neuronale Netze und Deep Learning Convolutional Neural Networks
- Welche Preismethoden gibt es für Projektunteraufträge im Rahmen des EPC-Generalvertragsmodells
Welche Preismethoden gibt es für Projektunteraufträge im Rahmen des EPC-Generalvertragsmodells? EPC (Engineering, Procurement, Construction) bedeutet, dass der Generalunternehmer für den gesamten Prozess der Planung, Beschaffung, Konstruktion und Installation des Projekts verantwortlich ist und für die Testbetriebsdienste verantwortlich ist.
- Wissenspunkte, die Java-Ingenieure in jeder Phase beherrschen müssen
Die Wissenspunkte, die Java-Ingenieure in jeder Phase beherrschen müssen, werden ausführlich vorgestellt und das Wissen ist umfassend. Ich hoffe, es kann für alle hilfreich sein.
- Systemanalytiker – Software-Anforderungsentwicklung
Das Software-Anforderungs-Engineering ist ein Schlüsselkapitel für Systemanalytiker. Zu den Kapiteln „Anforderungserhebung“ und „Anforderungsanalyse“ gehören häufig Veröffentlichungen.
- Für Sie empfohlen
- Gliederung
Neuronale Netze und Deep Learning Faltungs-Neuronales Netzwerk
Einführung in CNN
Typische CNN-Strukturvorschau
Grundeigenschaften
Im Vergleich zum vollständig verbundenen Netzwerk FC handelt es sich bei CNN um eine lokale Verbindung, dh der Ausgang eines Neurons in der vorherigen Schicht ist nur mit dem Eingang mehrerer benachbarter Neuronen in der nächsten Schicht und dem Eingang eines Neurons in der nächsten Schicht verbunden Die Schicht empfängt nur die Eingabe der vorherigen Schicht. Die Ausgabe mehrerer benachbarter Neuronen
Parameterfreigabe
Rezeptionsfeld (Sichtfeld)
Die Eingabe eines Neurons in der aktuellen Schicht ist die Ausgabe mehrerer Neuronen in der Nähe der vorherigen Schicht, und was gefühlt wird, ist die Ausgabe benachbarter Neuronen in der vorherigen Schicht. Dieser Eingabebereich wird als Empfangsfeld des aktuellen Neurons bezeichnet.
Faltungskern
Die Signale innerhalb des Empfangsfeldes werden gewichtet, um die Aktivierung des aktuellen Neurons zu bilden. Benachbarte Neuronen haben unterschiedliche, aber gleiche Empfangsfelder (unabhängig von Grenzen).
Die Aktivierung jedes Neurons wird durch die gewichtete Summierung der Signale in ihren jeweiligen Sinnesfeldern unter Verwendung desselben Gewichtskoeffizientensatzes erzeugt, d. h. jedes Neuron verwendet denselben Gewichtskoeffizientenvektor. Dieser Satz gemeinsamer Gewichtskoeffizienten wird als Faltungskern bezeichnet .
Ungefähre Übersetzungsinvarianz
Eine Übersetzung des Eingangssignals hat die gleiche Übersetzung des Ausgangssignals
Die Eigenschaften der Faltungsoperation selbst sind die Grundeigenschaften linearer zeitinvarianter Systeme
Durch den richtigen Entwurf der Pooling-Einheit und die Auswahl der Aktivierungsfunktion kann CNN die Übersetzungsinvarianz annähernd aufrechterhalten.
Beispiel
Identifizieren Sie einen Hund auf einem Bild. Auch nach der Übersetzung handelt es sich um einen Hund.
Faltungsoperation und ihre physikalische Bedeutung
Faltungsoperation
Eingangssignal x(t)
Impulsantwort der Systemeinheit h(t) (CNN-Faltungskern)
Ausgangssignal y(t)
Faltungseigenschaften
Austauschbarkeit
Übersetzungsinvarianz
volle Faltungslänge
N K-1
Effektive Faltungslänge
N-K 1
physikalische Bedeutung
Filter
Tiefpassfilter
Extrahieren Sie die sich langsam ändernden niederfrequenten Komponenten des Signals
h1[n]={1/2,1/2}
Hochpassfilter
Extrahieren Sie sich schnell ändernde Hochfrequenzkomponenten von Signalen
h2[n]={1/2,-1/2}
Bandpassfilter
Extrahieren Sie mäßig unterschiedliche Zutaten
Faltungsfilterfunktion
Für ein komplexes Signal, das verschiedene Frequenzkomponenten enthält, können unterschiedliche Filter, die von unterschiedlichen Faltungskernen implementiert werden, Komponenten unterschiedlicher Skalen im Signal erhalten.
adaptive Filterung
Der Fehler zwischen der Ausgabe der Netzwerkausgabeschicht und der erwarteten Antwort wird zum Trainieren des Ausgabeschichtnetzwerks verwendet
Der BP-Algorithmus gibt den Ausgabeschichtfehler an jede vorherige Schicht zurück und trainiert die Faltungskerne jeder Schicht nacheinander mithilfe des Rückübertragungsfehlers.
Die Struktur des grundlegenden CNN
Eindimensionale Faltung
Neuronenaktivierungswert
Neuronenausgang
Gleichgerichtete lineare Aktivierungsfunktion ReLU
z=max{0,a}
Faltungskanal
Faltungsoperation zwischen Eingabe und Faltungskern. Aktivierungsfunktionsoperation
Vergleichen Sie es mit einem vollständig verbundenen Netzwerk
Wenige gemeinsame Parameter
Teilen und erobern Sie Eingabemerkmale unterschiedlicher Art
2D-Faltung
Formel
Bildverständnis
Die zweidimensionale Faltungsoperation entspricht dem Verschieben von hij im Xij-Datenarray. Wenn amn berechnet werden muss, wird h00 verschoben, um es an Xmn auszurichten, und dann wird der Produktterm Xm in j hij berechnet und addiert.
Die effektive Faltungsausgabegröße beträgt (D1-K1 1)×(D2-K2 1)
Erkennungsebene
Berechnen Sie die Aktivierungsfunktion und die Neuronenleistung
Mehrkanalfaltung
Faltungskanal/Faltungsebene
Die von jedem Faltungskern h durch Faltungsoperation erzeugte Matrix
Beispiel
eingeben
32×32-Bild, 3 Kanäle, die drei RGB-Primärfarben darstellen
Faltungskern
6 5×5-Faltungskerne, zwei für jeden Eingangskanal
Ausgabe
Erzeugt 6 28×28-Faltungskanäle
Pooling
maximales Pooling
Beim Pooling wird der Maximalwert des Fensters verwendet, d. h. der Maximalwert innerhalb eines kleinen Fensters wird als Pooling-Ergebnis ausgewählt
durchschnittliches Pooling
Durchschnitt innerhalb des Fensters als Pooling-Ergebnis
Dezimierungspooling
Festkommawert innerhalb des Fensters als Pooling-Ergebnis
Fenstereigenschaften
Größe
M1×M2
gemeinsamen Schritt
S
Nullauffüllungsfaltung gleicher Länge
K ist eine ungerade Zahl
Fügen Sie (K-1)/2 Nullen an beiden Enden der Eingabe hinzu
K ist eine gerade Zahl
Fügen Sie K/2 Nullen auf einer Seite und (K/2)-1 Nullen auf der anderen Seite hinzu.
Bilden Sie CNN
Zusammensetzung der Faltungsschichten
Faltungsoperationsphase
Erkennungsstufe (ReLU-Funktion)
Pooling (optional)
Typische CNN-Netzwerkstruktur
Einige erweiterte Faltungsstrukturen
Tensorfaltung
3D-Datenvolumen
Tensor-Faltungskern
Faltungsebene
Kanaldimensionale Faltung
Extrahieren Sie verschiedene Merkmale der Kanaldimension
1×1 Faltungskern
S-Stride-Faltung
Lernen von CNN-Parametern
Die Idee des BP-Algorithmus von CNN
Vorwärtsausbreitung
Faltungsberechnung der Faltungsschicht
FC-Schicht vollständig verbundene Berechnungsaktivierungsausgabe
Die Pooling-Schicht führt das Pooling durch
Backpropagation
Die FC-Schicht wird gemäß dem Standard-BP-Backpropagation-Algorithmus berechnet.
Backpropagation-Algorithmus der Faltungsschicht und der Pooling-Schicht
Backpropagation-Formel für Faltungsschichten
Backpropagation-Formel für die Pooling-Schicht
2D-Erweiterung
CNN-Beispieleinführung
LeNet-5-Netzwerk
AlexNet-Netzwerk und VGGNet-Netzwerk
Aktivierungsfunktion
Die ReLU-Aktivierungsfunktion trainiert sechsmal schneller als die Tanh-Aktivierungsfunktion
AlexNet-Struktur
VGGNet-Struktur
Verwenden Sie tiefere Schichten, kleinere Faltungskerne und mehrere Faltungsschichten, die einer Pooling-Schicht entsprechen.
Ideen zur Verbesserung der Trainingseffekte
Erzielen Sie bessere Trainingsergebnisse, indem Sie die CNN-Tiefe erhöhen
Eine direkte Erhöhung der Schichtanzahl wird negative Auswirkungen haben
Leicht zu überpassen
Farbverlauf verschwindet
Gradientenexplosion
GoogLeNetNetwork
Makrokonstruktionsmodul Inception
4 parallele Zweige
Generieren Sie Ausgaben durch Verzweigen und Zusammenführen von Modulen
Jeder Zweig enthält eine 1×1-Faltung
Der Zweck besteht darin, durch Teilen und Herrschen Parameter und Rechenkomplexität zu reduzieren
Struktur
Restnetze und dichte Netze
Restnetzwerk
Problem der Netzwerkverschlechterung
Die Genauigkeit des Trainingssatzes ist gesättigt oder sinkt sogar.
Verbleibende Netzwerkeigenschaften
Lässt sich leicht optimieren und kann die Genauigkeit durch Hinzufügen erheblicher Tiefe verbessern
Der Restblock innerhalb des Restnetzwerks verwendet Sprungverbindungen, was das Problem des verschwindenden Gradienten lindert, das durch die zunehmende Tiefe im tiefen neuronalen Netzwerk verursacht wird.
Restbausteine
Restgitterstruktur
dichtes Netzwerk
Dichte Netzwerkeigenschaften
Behalten Sie die Struktur des Feedforward-Netzwerks bei und verbinden Sie die Ausgabe der Eingabeschicht oder der aktuellen Schicht mit der Eingabe jeder nachfolgenden Schicht
Für L-Layer-Netzwerke können L(L-1)/2-Verbindungen vorhanden sein
dichte Netzwerkstruktur