Esencia: establezca diferentes umbrales de escala de grises y clasifique el histograma de escala de grises de la imagen (el mismo rango de escala de grises pertenece a la misma categoría y tiene cierta similitud)

proceso:

Clasificación:

Analizado:

Base teórica: el valor de gris del píxel límite es muy diferente del valor de gris del píxel adyacente.

Proceso: conecte puntos (puntos de borde) con grandes diferencias en el valor de gris de los píxeles adyacentes para formar un contorno de límite

Clasificación:

Resumen: en aplicaciones prácticas, el método de detección de bordes paralelos es simple y rápido, tiene un rendimiento relativamente bueno y es el método más utilizado.

Principio del algoritmo: segmentar según la información espacial de la imagen, clasificar píxeles y formar regiones a través de las características de similitud de los píxeles.

Clasificación

Principio del algoritmo: junte píxeles con características similares en la misma área, itere los resultados de la agrupación repetidamente hasta la convergencia y finalmente junte todos los píxeles en varias categorías diferentes para completar la división del área de la imagen == segmentación de la imagen

Análisis de ejemplo de algoritmos típicos.

Idea de algoritmo: convierta el problema de segmentación en partición de gráficos y complete la segmentación optimizando la solución de la función objetivo

Ejemplos de algoritmos clásicos.

teoría de la morfología matemática

algoritmo genético

transformada wavelet

modelo de contorno activo

teoría difusa

teoría aproximada de conjuntos

... ...

Después de 8 capas de procesamiento de convolución, se muestra el mapa de características para implementar una operación de deconvolución, se clasifica a través de la capa SoftMax y, finalmente, se genera el resultado de la segmentación: múltiples operaciones de convolución El tamaño del mapa de características es mucho más pequeño que la imagen de entrada original. Y muchas características subyacentes se pierden. La información de la imagen, clasificada directamente, afecta la precisión de la segmentación.

El proceso de muestreo ascendente adopta la estrategia Skip.

Combine datos profundos con información superficial y luego restaure la salida de la imagen original para obtener resultados de segmentación más precisos.

Según las diferentes capas de agrupación, se divide en

FCN-8: integra más capas de información de características, segmenta para obtener información de contorno más clara y el efecto de segmentación es relativamente bueno.

Puede clasificar imágenes a nivel de píxeles y resolver eficazmente el problema de la segmentación semántica de imágenes.

Se pueden ingresar imágenes de cualquier tamaño.

El primer modelo de red segmentada de extremo a extremo

insuficiente

Integre información contextual, aproveche al máximo el conocimiento previo de las características globales, analice diferentes escenas y logre la segmentación semántica de los objetivos de la escena.

1. Dada una imagen de entrada

2.CNN: Obtenga el mapa de características de la capa convolucional

3. Módulo de agrupación piramidal: recopila características de diferentes subintervalos

4. muestreo superior

5. Concatenar y fusionar las características de cada subregión

6. Formar representaciones de características que contengan información de contexto local y global.

7. Clasificación de convolución y SoftMax de representaciones de características.

8. Resultados de predicción para cada píxel.

Para tareas de análisis de escenas y segmentación semántica: capaz de extraer características globales apropiadas

Utilice el módulo de agrupación piramidal para fusionar información local y global.

Proponer una estrategia de optimización para una pérdida de supervisión moderada.

Desventajas: El manejo de la oclusión entre objetivos no es ideal.

Controlar explícitamente la resolución de la respuesta al calcular respuestas características.

Ampliar el campo receptivo del núcleo de convolución

Integre más información de funciones sin aumentar la cantidad de parámetros y cálculos

El primer modelo de DeepLab

Modelo DeepLab-v2

Modelo DeepLab-v3

Estructura de codificación y decodificación de modelos DeepLad-v3

Marco de algoritmos

Fase de entrenamiento: uso de la restricción de pérdida L de múltiples tareas

Sobre la base de la segmentación semántica, se realiza la segmentación de instancias: detección y posicionamiento precisos de objetivos en primer plano, distinguiendo diferentes individuos de objetivos similares.

Mayor precisión de segmentación

Los modelos son más flexibles.

Se puede utilizar para una variedad de tareas de visión por computadora.

PASCAL VOC

MicrosoftCOCO

paisajes urbanos

Segmentación semántica: la relación promedio de intersección y unión mIoU representa la relación de intersección y unión de dos conjuntos. En la segmentación semántica, se refiere al conjunto de valores verdaderos y valores predichos.

Segmentación de instancias: precisión de píxeles PA, que representa la proporción de píxeles clasificados correctamente con respecto al total de píxeles

La segmentación de imágenes se utiliza cada vez más en tareas de visión por ordenador

La precisión y la velocidad se han mejorado significativamente.

Falta de conjuntos de datos de segmentación y mucho trabajo de anotación.

La segmentación de objetivos de tamaño pequeño no es lo suficientemente precisa

El algoritmo de segmentación es computacionalmente complejo.

No se puede lograr una segmentación interactiva en tiempo real, lo que dificulta la implementación, aplicación y promoción de la tecnología de segmentación.