Convolutional Neural Networks (CNN) ist ein Deep-Learning-Modell, das sich besonders für Bilderkennung, Videoanalyse, Verarbeitung natürlicher Sprache und andere Bereiche eignet. Das Design von CNN ist von biologischen Sehsystemen inspiriert und nutzt eine hierarchische Struktur, um lokale Merkmale und globale Muster in Daten zu erfassen.

1950er Jahre: Frank Rosenblatt schlägt das Perceptron vor, eines der frühesten neuronalen Netzwerkmodelle.

1980er Jahre: Yann LeCun und andere schlugen LeNet-5 vor, das erste CNN, das erfolgreich zur handschriftlichen Ziffernerkennung eingesetzt wurde.

1998: Yann LeCun und andere entwickelten LeNet-5 weiter und schlugen eine verbesserte Version von LeNet-5 für die Erkennung handgeschriebener Postleitzahlen vor.

2012: Alex Krizhevsky und andere schlagen AlexNet vor, das erste CNN, das bahnbrechende Ergebnisse bei der ImageNet Large-Scale Visual Recognition Challenge (ILSVRC) erzielt.

2014: VGGNet erzielte bessere Ergebnisse in ILSVRC und demonstrierte die Vorteile tieferer Netzwerkstrukturen.

2014: Google schlägt die Inception-Architektur (GoogLeNet) vor, die durch die Einführung des Inception-Moduls die Recheneffizienz des Netzwerks verbessert.

2015: Microsoft schlägt ResNet (Residual Network) vor, das das Problem des verschwindenden Gradienten beim Deep-Network-Training durch Restverbindungen löst.

Bisher: CNN entwickelt sich weiter, mit der Entstehung neuer Netzwerkstrukturen wie EfficientNet und Vision Transformer sowie weiteren Optimierungen in verschiedenen Anwendungsfeldern.

...

Eingabeebene: Empfängt Rohdaten, beispielsweise die Pixelwerte eines Bildes.

Faltungsschicht: Verwenden Sie Faltungskerne, um lokale Merkmale zu extrahieren.

Aktivierungsschicht: Nichtlinearität einführen, z. B. ReLU.

Pooling-Schicht: Reduzieren Sie die Datendimension, reduzieren Sie den Rechenaufwand und verhindern Sie eine Überanpassung.

Vollständig verbundene Ebene: Ordnet Features der endgültigen Ausgabe zu, z. B. Klassifizierungsbeschriftungen.

Ausgabeschicht: Gibt das Endergebnis des Netzwerks aus.

Faltungsoperation: Schieben Sie den Faltungskern auf die Eingabedaten, um lokale Merkmale zu extrahieren.

Gewichtsteilung: Derselbe Faltungskern teilt die Gewichte auf die gesamten Eingabedaten auf und reduziert so die Modellparameter.

Pooling: Downsampling eines lokalen Bereichs, z. B. maximales Pooling oder durchschnittliches Pooling.

Aktivierungsfunktion: Einführung von Nichtlinearitäten wie ReLU, Sigmoid, Tanh usw.

Faltungskern (Filter): Die Gewichtsmatrix, die zum Extrahieren von Merkmalen in der Faltungsschicht verwendet wird.

Schrittweite: Die Schrittgröße, mit der sich der Faltungskern auf den Eingabedaten bewegt.

...

LeNet-5: Frühes CNN-Modell zur handschriftlichen Ziffernerkennung.

AlexNet: Einführung der ReLU-Aktivierungsfunktion, Reduzierung der Parameteranzahl und Verbesserung der Trainingsgeschwindigkeit.

VGGNet: Verwendet kleine Faltungskerne und eine tiefere Netzwerkstruktur.

InceptionNet: Einführung des Inception-Moduls zur Verbesserung der Recheneffizienz des Netzwerks.

ResNet: Lösen Sie das Problem des verschwindenden Gradienten beim Deep-Network-Training durch Restverbindungen.

SqueezeNet: Zeigt, dass CNNs auch mit einer geringen Anzahl von Parametern eine hohe Leistung aufrechterhalten können.

...

CNN extrahiert lokale Merkmale des Bildes durch mehrschichtige Faltungs- und Pooling-Operationen und führt die Klassifizierung durch vollständig verbundene Schichten durch. Faltungsoperationen können Merkmale auf niedriger Ebene wie Kanten und Texturen in Bildern erfassen, während tiefe Netzwerke komplexere Muster lernen können. Durch Gewichtsteilung und Pooling kann CNN große Datensätze effektiv verarbeiten und das Risiko einer Überanpassung verringern.

Bilderkennung: z. B. handschriftliche Ziffernerkennung, Objekterkennung usw.

Bildsegmentierung: Segmentieren Sie das Bild in mehrere Bereiche zur medizinischen Bildanalyse usw.

Videoanalyse: Wird zur Verhaltenserkennung, Videoüberwachung usw. verwendet.

Spracherkennung: Obwohl CNN hauptsächlich zur Bildverarbeitung verwendet wird, kann es auch zur Merkmalsextraktion von Sprachsignalen verwendet werden.

...

Anforderungen an Rechenressourcen: Tiefe Netzwerke erfordern eine große Menge an Rechenressourcen und Speicherplatz.

Anforderungen an das Datenvolumen: Um ein Hochleistungsmodell zu trainieren, ist eine große Menge annotierter Daten erforderlich.

Interpretierbarkeit: Der interne Arbeitsmechanismus von CNN ist nicht so transparent wie flache Modelle, was es schwierig macht, seinen Entscheidungsprozess zu erklären.

Empfindlich gegenüber der Eingabegröße: CNNs reagieren etwas empfindlich auf die Größe und den Umfang der Eingabedaten und erfordern möglicherweise Vorverarbeitungsschritte.

Lokale Merkmalsextraktion: CNN kann lokale Merkmale gut extrahieren, hat jedoch möglicherweise Schwierigkeiten bei der Erfassung globaler Kontextinformationen.

...