Wondershare EdrawMind
MindMap Gallery Bildsegmentierungsalgorithmus
- 3
Bildsegmentierungsalgorithmus
Eine Übersicht über die Mindmap der Bildsegmentierungsmethoden, einschließlich traditioneller Bildsegmentierungsmethoden, Vergleich und Zusammenfassung der Leistungsanalyse, Segmentierungsnetzwerkmodelle usw. Wenn Sie interessiert sind, können Sie einen Blick darauf werfen.
Edited at 2023-03-06 12:25:07
- Recommended to you
- Outline
Ein Überblick über Bildsegmentierungsmethoden
Einführung
Bildsegmentierung: Teilen Sie das Bild in disjunkte und aussagekräftige Unterbereiche
Pixel im gleichen Bereich: Korrelation
Pixel in verschiedenen Bereichen: Unterschiede
Traditionelle Bildsegmentierungsmethoden
verwenden:
Vorverarbeitungsschritte für die Bildverarbeitung
Erhalten Sie wichtige Funktionsinformationen des Bildes
Verbessern Sie die Effizienz der Bildanalyse
Einstufung
Schwellenwertbasiert: Graustufen-Bildsegmentierungsmethode
Essenz: Legen Sie unterschiedliche Graustufenschwellen fest und klassifizieren Sie das Graustufenhistogramm des Bildes (derselbe Graustufenbereich gehört zur gleichen Kategorie und weist eine gewisse Ähnlichkeit auf).
Verfahren:
f(i,j): repräsentiert den Grauwert von (i,j)
T: Graustufenschwelle
Durch den Vergleich des Bildpixel-Grauwerts mit dem Schwellenwert wird dieser in zwei Teile unterteilt: Ziel und Hintergrund. Das Ausgabebild g(i,j) ändert sich mit einem Wert von 0 oder 1.
1 (Ziel): f(i,j)>=T
0 (Hintergrund): f(i,j)<T
Je größer der Schwellenwert T ist, desto mehr Pixel werden in Ziele unterteilt.
Einstufung:
Punktbasierte globale Schwellenwertsegmentierungsmethode
Regionsbasierte globale Schwellenwertsegmentierungsmethode
Methode zur Segmentierung mit lokalem Schwellenwert
... ...
Analysiert:
Anwendbare Situationen:
Der angestrebte Grauwert ist gleichmäßig verteilt und verändert sich kaum
Der Unterschied in den Graustufen zwischen dem Ziel und dem Hintergrund ist offensichtlich
Vorteil:
Einfach und leicht umzusetzen
effizient
unzureichend:
Es wird nur der Grauwert des Pixels selbst berücksichtigt, Merkmalsinformationen wie Bildsemantik und Raum werden nicht berücksichtigt.
anfällig für Lärm
Nicht ideal für komplexe Bilder
Praktische Anwendungen:
Vorverarbeitungsmethode
Verwendung in Verbindung mit anderen Segmentierungsmethoden
kantenbasiert
Theoretische Grundlage: Der Grauwert des Grenzpixels unterscheidet sich stark vom Grauwert des angrenzenden Pixels.
Prozess: Verbinden Sie Punkte (Randpunkte) mit großen Grauwertunterschieden zu benachbarten Pixeln, um einen Grenzumriss zu bilden
Einstufung:
Methode zur seriellen Kantenerkennung: Ermitteln Sie zunächst den Kantenstartpunkt, beginnen Sie am Startpunkt und suchen und verbinden Sie benachbarte Kantenpunkte anhand des Ähnlichkeitskriteriums
Parallele Kantenerkennungsmethode: Verwendung räumlicher Differentialoperatoren zur Faltung von Vorlagen mit Bildern
Roberts
Sobel
Prewitt
Protokoll
Schlau
... ...
Zusammenfassung: In praktischen Anwendungen ist die parallele Kantenerkennungsmethode einfach und schnell, weist eine relativ gute Leistung auf und ist die am häufigsten verwendete Methode.
Basierend auf der Region
Algorithmusprinzip: Segmentieren Sie nach räumlichen Bildinformationen, klassifizieren Sie Pixel und bilden Sie Regionen anhand der Ähnlichkeitsmerkmale von Pixeln
Einstufung
Regionswachstumsmethode
Prinzip: Sammeln Sie Pixel mit ähnlichen Eigenschaften, um einen unabhängigen Bereich zu bilden
Verfahren:
1. Wählen Sie eine Gruppe von Startpunkten als Ausgangspunkt für das Wachstum (entweder ein einzelnes Pixel oder einen kleinen Bereich).
2. Führen Sie gemäß dem Wachstumskriterium den Startpunkt und benachbarte Pixel mit ähnlichen Eigenschaften in dem Bereich zusammen, in dem sich der Startpunkt befindet.
3. Verwenden Sie die neuen Pixel als Startpunkte und iterieren Sie wiederholt, bis alle Bereiche erkannt werden und nicht mehr wachsen.
Das Essenzielle
Saatpunkt
Auswahlmethode
künstliche Selektion
Der Algorithmus wählt automatisch aus
Wachstumskriterien (Bildmerkmalsinformationen)
Farbe
Textur
Raum
... ...
Analysiert
Vorteile: einfache Berechnung
unzureichend:
1. Lärmempfindlich
2. Leicht zu regionalen Stellenangeboten führen
Split-Merge-Methode
Die Essenz des Algorithmus: kontinuierliches Teilen und Zusammenführen, um jeden Teilbereich des Bildes zu erhalten
Verfahren:
1. Teilen Sie das Bild in regelmäßige Bereiche
2. Gemäß dem Ähnlichkeitskriterium werden Bereiche mit unterschiedlichen Merkmalen aufgeteilt und angrenzende Bereiche mit denselben Merkmalen zusammengeführt, bis keine Aufteilung oder Verschmelzung mehr erfolgt.
Wichtige Punkte/Schwierigkeiten
anfängliche Partition
Split-Merge-Ähnlichkeitskriterium
Analysiert
Vorteile: Besserer Segmentierungseffekt bei komplexen Bildern
unzureichend:
1. Komplexe Berechnung
2. Bei der Teilung können Grenzen überschritten werden
Basierend auf Clustering
Algorithmusprinzip: Sammeln Sie Pixel mit ähnlichen Eigenschaften im selben Bereich, iterieren Sie die Clusterergebnisse wiederholt bis zur Konvergenz und sammeln Sie schließlich alle Pixel in mehreren verschiedenen Kategorien, um die Bildbereichsteilung == Bildsegmentierung abzuschließen
Beispielanalyse typischer Algorithmen
Einfaches lineares iteratives Clustering SLIC (Superpixel-Segmentierung) ==>Bildsegmentierung wird in ein Pixel-Clustering-Problem umgewandelt
Algorithmusidee: Basierend auf Clustering werden die Pixel im Bild in Superpixelblöcke unterteilt
Algorithmusschritte:
1. Konvertieren Sie die RGB-Farbbildzuordnung in ein Lab-Bild (Der Laborraum behält einen größeren Farbbereich bei und bietet sattere Farbeigenschaften)
L: Helligkeit
a: Bereich von Magenta bis Grün
b: Bereich von gelb bis blau
2. Kombinieren Sie die Farbmerkmale (L, a, b) und Koordinaten (x, y) jedes Pixels zu einem Vektor (L, a, b, x, y) zur Entfernungsmessung
Farbabstand zwischen den Pixeln i und j
Der räumliche Abstand zwischen den Pixeln i und j
Die endgültige Distanz wird gemessen
Maximaler Farbabstand: Ganzzahl [1,40] nehmen
Maximaler räumlicher Abstand innerhalb einer Klasse
Superpixel-Blockgröße – Abstand zwischen benachbarten Startpunkten
Die Gesamtzahl der Pixel im Bild
Summe vorsegmentierter Superpixelblöcke
Vorteil
Stabile Leistung
Gute Robustheit
Anwendbar: Bildsegmentierung, Posenschätzung, Zielverfolgung und -erkennung usw.
Basierend auf der Graphentheorie
Algorithmusidee: Konvertieren Sie das Segmentierungsproblem in eine Graphpartitionierung und vervollständigen Sie die Segmentierung durch Optimierung der Lösung der Zielfunktion
Beispiele klassischer Algorithmen
Diagrammschnitt
Algorithmusidee: Das Minimalschnittproblem wird auf das Bildsegmentierungsproblem angewendet, um das Bild in Vordergrund und Hintergrund zu segmentieren.
Einführung in den Algorithmus:
1. Abbildung des Bildes in ein S-T-Diagramm
Ungerichteter Graph G=(V,E) mit Gewichten
V: Scheitelpunktsatz == Scheitelpunkt, der dem Pixelpunkt des Originalbilds entspricht
E: Kantensatz == Das Gewicht der Kante ist die Ähnlichkeit zwischen Pixeln
Jeder Knoten ist mit den Endeckpunkten S und T verbunden, um eine gepunktete Kante zu bilden.
Das Gewicht der gepunkteten Kante des mit S verbundenen Scheitelpunkts ist die Wahrscheinlichkeit, dass der Punkt das Vordergrundziel ist.
Das Gewicht der gepunkteten Linienkante des mit T verbundenen Scheitelpunkts ist die Wahrscheinlichkeit, dass der Punkt der Hintergrund ist
Eine Art von Kante: die Kante, die durch die Verbindung gewöhnlicher Knoten, die Pixelpunkte darstellen, miteinander gebildet wird; die andere Art von Kante: die Kante zwischen dem Endscheitelpunkt und dem ihn verbindenden Knoten
2. Lösen Sie das Problem der Minimierung der Energieverlustfunktion
Schnitt: Alle Kanten in der Kantenmenge werden getrennt – Trennung des S-T-Graphen
Min. Schnitt: Die Summe aller Werte der entsprechenden Kanten in einem Schnitt ist der kleinste
3. Finden Sie den Mindestschnitt und iterieren Sie kontinuierlich
Auswertung: Finden Sie den Minimalwert der Energieverlustfunktion
Vorteile: Es werden die Graustufeninformationen des Bildes und auch die regionalen Grenzinformationen verwendet. Durch die Lösung ganz rechts wird der beste Segmentierungseffekt erzielt.
unzureichend
Großer Rechenaufwand
Segmentieren Sie lieber Bilder mit der gleichen Ähnlichkeit innerhalb der Klasse
Grab Cut
Ein Schnitt
... ...
basierend auf einer bestimmten Theorie
Mathematische Morphologietheorie
Überwinden Sie den Einfluss von Rauschen und erhalten Sie klare Kantenbilder
genetischen Algorithmus
Simulieren Sie das natürliche Überleben des Stärksten, um die optimale Lösung zu erhalten und eine optimale Segmentierung zu erreichen
Wavelet-Transformation
aktives Konturmodell
Fuzzy-Theorie
grobe Mengenlehre
... ...
Segmentierungsmethode basierend auf dem Deep-Learning-Segmentierungsnetzwerkmodell
Full Convolution Network FCN (Full Convolution Network) – Bildsemantische Segmentierung
Algorithmusidee:
Nach 8 Ebenen der Faltungsverarbeitung wird die Feature-Map hochgetastet, um eine Entfaltungsoperation zu implementieren, durch die SoftMax-Ebene klassifiziert und schließlich das Segmentierungsergebnis ausgegeben – mehrere Faltungsoperationen. Die Größe der Feature-Map ist viel kleiner als das ursprüngliche Eingabebild , und viele zugrunde liegende Merkmale gehen verloren, direkt klassifiziert, wirkt sich auf die Segmentierungsgenauigkeit aus
Der Upsampling-Prozess übernimmt die Skip-Strategie
Algorithmusprozess
Kombinieren Sie tiefe Daten mit flachen Informationen und stellen Sie dann die Ausgabe des Originalbilds wieder her, um genauere Segmentierungsergebnisse zu erhalten.
Es ist in verschiedene Pooling-Schichten unterteilt
Ergebnisse der FCN-32-Modellsegmentierung
Feature-Maps auf verschiedenen Ebenen
Faltung: 7-mal
Ergebnisse der FCN-16-Modellsegmentierung
Pooling: 4 Mal – Pool4-Schicht
Bilineare Interpolationsmethode – Conv7
Upsampling-Klassifizierung nach der Fusion
Ergebnisse der FCN-8-Modellsegmentierung
Pooling: 3-mal – Pool3-Schicht
Bilineare Interpolationsmethode – Conv7-Schicht, Pool4-Schicht
Upsampling-Klassifizierung nach der Fusion
FCN-8s: Integrieren Sie mehr Ebenen von Merkmalsinformationen und segmentieren Sie, um klarere Konturinformationen zu erhalten. Der Segmentierungseffekt ist relativ gut.
Algorithmusbewertung
Es kann Bilder auf Pixelebene klassifizieren und das Problem der semantischen Segmentierung von Bildern effektiv lösen.
Es können Bilder beliebiger Größe eingegeben werden
Das erste durchgängig segmentierte Netzwerkmodell
unzureichend
Das Netzwerk ist relativ groß und nicht empfindlich genug für die detaillierten Informationen des Bildes
Die Korrelation zwischen den Pixeln ist gering – die Zielgrenze ist unscharf
Pyramid Scene Parsing Network PSPNet (Pyramid Scene Parsing Network) – Bildsemantische Segmentierung
Algorithmisches Denken
Integrieren Sie Kontextinformationen, nutzen Sie das Vorwissen über globale Funktionen voll aus, analysieren Sie verschiedene Szenen und erreichen Sie eine semantische Segmentierung von Szenenzielen.
Algorithmusprozess
1. Gegeben sei ein Eingabebild
2.CNN: Rufen Sie die Faltungsschicht-Feature-Map ab
3. Pyramiden-Pooling-Modul: Sammeln Sie Merkmale verschiedener Teilintervalle
4. Upsampling
5. Verketten und verschmelzen Sie die Merkmale jeder Unterregion
6. Bilden Sie Merkmalsdarstellungen mit lokalen und globalen Kontextinformationen
7. Faltung und SoftMax-Klassifizierung von Merkmalsdarstellungen
8. Vorhersageergebnisse für jedes Pixel
Algorithmusbewertung
Für Szenenanalyse- und semantische Segmentierungsaufgaben – in der Lage, geeignete globale Merkmale zu extrahieren
Nutzen Sie das Pyramid-Pooling-Modul, um lokale und globale Informationen zusammenzuführen
Schlagen Sie eine Optimierungsstrategie für moderaten Aufsichtsverlust vor
Nachteile: Die Handhabung der Okklusion zwischen Zielen ist nicht ideal.
Modelle der DeepLab-Serie – tiefes neuronales Netzwerkmodell, semantische Bildsegmentierung
Der Kern des Algorithmus: Verwendung der atrous-Faltung (die Methode zum Einbetten des Faltungskerns)
Steuern Sie die Auflösung der Antwort explizit, wenn Sie charakteristische Antworten berechnen
Erweitern Sie das Empfangsfeld des Faltungskerns
Integrieren Sie mehr Feature-Informationen, ohne die Anzahl der Parameter und Berechnungen zu erhöhen
Entwicklungspfad
Das früheste DeepLab-Modell
Beschreibung des Algorithmus
Eingabebild
Verarbeitet durch Deep Convolutional Neural Network (DCNN) mit atroösen Faltungsschichten – grobe Bewertungskarte
bilineares Interpolations-Upsampling
Einführung von vollständig verbundenen bedingten Zufallsfeldern (CRF).
Ausgabebild
Algorithmusbewertung
Berücksichtigen Sie globale Informationen vollständig, um Zielkantenpixel genauer zu klassifizieren
Beseitigen Sie Rauschstörungen und verbessern Sie die Segmentierungsgenauigkeit
DeepLab-v2-Modell
Erweitern Sie es als poröses räumliches Pyramiden-Pooling-Modul (ASPP).
Kaskade; Multiskalen-Atrous-Faltungsschicht und Feature-Map-Fusion
Behalten Sie das vollständig verbundene CRF als Nachbearbeitung bei
DeepLab-v3-Modell
Faltungspooling: Bildgröße um das Vierfache reduziert
3-Block-Modulfaltung: Bild um das Achtfache verkleinert
Lineare Entzerrungsfunktion (ReLU): Bild um das 16-fache verkleinert
Pooling: Bild um das 16-fache verkleinert
Block4-Verarbeitung
ASPP-Modul: Fusion verschiedener poröser Windungen (Anzahl der Buchsen = 6, 12, 18)
Integration von 1*1-Faltungsschicht und globaler Pooling-Schicht: Feature-Map um das 16-fache reduziert
Klassifizierungsvorhersage: Segmentierungskarte
DeepLad-v3-Modell-Kodierungs- und Dekodierungsstruktur
Beschreibung des Algorithmus
Codierungsteil: DeepLab-v3-Modell
Teileingabe dekodieren
Flache Feature-Karte in DCNN
ASPP-fusionierte Feature-Map nach der Faltung
Decodierungsmodul
Faltung: Flache Feature-Map eingeben
Fusion: Hochgesampelte ASPP-Feature-Map
Ausgabe: Gefaltete und hochgesampelte Segmentierungskarte in Originalgröße
Algorithmusbewertung
Unterscheiden Sie deutlich Vordergrundziele und Hintergrund
Zielkanten sind klar definiert
Dieses Modell ermöglicht eine feinkörnige Segmentierung
Maske R-CNN – Bildinstanzsegmentierung
Ursprung: Basierend auf Faster R-CNN
Beschreibung des Algorithmus
Algorithmus-Framework
Die erste Stufe:
Region Proposal Networks (RPN) – Vorschlagen eines Kandidaten-Zielgrenzen-Frameworks
Der Inhalt (RoI) in der Begrenzungsbox wird von RoIAlign verarbeitet – der RoI wird in m*m Unterregionen unterteilt
zweite Etage:
Fügen Sie parallel zu den Vorhersageklassen- und Bounding-Box-Regressionsaufgaben einen Zweig hinzu, um eine Binärmaske für jeden RoI auszugeben Das heißt, jeder RoI wird mit FCN segmentiert und die Segmentierungsmaske wird pixelweise vorhergesagt.
Trainingsphase: Verwendung der Multitask-Verlustbeschränkung L
L = Zielklassifizierungsverlust, Erkennungsaufgabenverlust, Instanzsegmentierungsverlust
Algorithmusbewertung
Auf der Grundlage der semantischen Segmentierung wird eine Instanzsegmentierung realisiert – eine genaue Erkennung und Positionierung von Vordergrundzielen, wodurch verschiedene Individuen von ähnlichen Zielen unterschieden werden.
Semantische Segmentierung: Identifizieren des in einem Bild vorhandenen Inhalts und Standorts
Instanzsegmentierung: Unterscheidung verschiedener Personen derselben Kategorie basierend auf semantischer Segmentierung
Höhere Segmentierungsgenauigkeit
Modelle sind flexibler
Kann für eine Vielzahl von Computer-Vision-Aufgaben verwendet werden
Zielklassifizierung
Zielerkennung
Instanzaufteilung
Erkennung der menschlichen Körperhaltung
... ...
Vergleich und Zusammenfassung der Leistungsanalyse
Leistungsanalyse
Deep-Learning-Segmentierungsdatensatz:
PASCAL VOC
MicrosoftCOCO
Stadtansichten
Qualitative Analyse
Quantitative Analyse
Semantische Segmentierung: Das durchschnittliche Schnitt- und Vereinigungsverhältnis mIoU stellt das Verhältnis der Schnittmenge und Vereinigung zweier Mengen dar. Bei der semantischen Segmentierung bezieht es sich auf die Menge der wahren Werte und der vorhergesagten Werte.
Instanzsegmentierung: Pixelgenauigkeit PA, die den Anteil der korrekt klassifizierten Pixel an der Gesamtpixelzahl darstellt
Zusammenfassen
Status Quo:
Bildsegmentierung wird zunehmend bei Computer-Vision-Aufgaben eingesetzt
Genauigkeit und Geschwindigkeit wurden deutlich verbessert
Problem:
Mangel an Segmentierungsdatensätzen und umfangreicher Annotationsaufwand
Die Segmentierung kleiner Ziele ist nicht genau genug
Der Segmentierungsalgorithmus ist rechentechnisch komplex
Es ist nicht möglich, eine interaktive Echtzeitsegmentierung zu erreichen, was die Implementierung, Anwendung und Förderung der Segmentierungstechnologie behindert