He implementado un detector de características basado en las esquinas de Harris . Funciona bien la mayoría de las veces, pero hay casos en los que funciona mal. Necesito hacer que funcione en muchas imágenes diferentes sin configurarlo individualmente.
El problema es con el valor umbral del detector. Si se configura demasiado bajo, el detector se dispara demasiadas veces, lo que resulta en una gran cantidad de características. Si se configura demasiado alto, hay menos funciones.
ANMS ( Supresión adaptativa no máxima) lo he resuelto parcialmente para reducir el número de características antes de asignarles un vector descriptor.
Sin embargo, imágenes como esta son el problema:
Tienen bajo contraste y no puedo "permitirme" establecer un umbral demasiado bajo para todas las imágenes. Causaría que el detector funcionara en estas imágenes, pero otras imágenes contendrían cientos de miles de características, que serán lentas para filtrar con ANMS y esto dañará el rendimiento general.
Estaba pensando en ajustar la imagen antes de la detección de características. Tal vez la ecualización de histograma haría el trabajo. Esta puede ser una operación válida ya que el cambio global de contraste no tiene efecto en los descriptores de características (son invariables al cambio de brillo y contraste).
Quizás trabajar con un umbral adaptativo o alguna heurística funcionaría mejor.
¿Cualquier otra sugerencia?
Respuestas:
Una posibilidad sería hacer una detección de borde simple (como Laplace) y utilizar la intensidad media del resultado como base para el umbral de las esquinas de Harris. Cuando tiene bajo contraste, obtendrá menos bordes y con menor intensidad, con alto contraste obtendrá más bordes y con mayores intensidades.
No eres el único que lucha con este problema. Si tiene acceso a bases de datos en papel, esto podría ser interesante:
Puede valer la pena buscar más (auto) detección de esquina de harris adaptativa.
fuente
¿Realmente tienes que usar las esquinas de Harris? Hay muchas características desarrolladas después de las esquinas de Harris, con mejores propiedades. Una buena descripción se puede encontrar en este artículo:
Basado en ese artículo, así como en mi experiencia personal, sugeriría cambiar a MSER (Regiones externas máximamente estables) , o incluso combinarlas con DoG (Diferencia de gaussianos) , las características presentadas por primera vez como parte de la tubería SIFT.
Si el problema realmente está en bajo contraste , entonces las características de MSER realmente lo harán feliz: son (bastante) invariables a los cambios en la iluminación. En resumen, son regiones conectadas de la imagen estables a través de una serie de binarizaciones de umbral diferentes.
El proceso de extracción de características es independiente del cálculo de los descriptores, por lo que no debería ser demasiado difícil integrar nuevas formas de extracción de características en su proceso.
Además, he oído hablar (pero nunca trabajé con) sobre las esquinas de Harris a múltiples escalas como una extensión de las esquinas de Harris. No sé mucho sobre ellos y personalmente no puedo recomendar ningún material de lectura sobre este tema, así que les dejo la búsqueda de artículos y la selección de los materiales más interesantes para usted.
Además, podría sugerir que la imagen que publicó puede tener otros problemas además del bajo contraste . En mi experiencia personal, la vegetación como arbustos o posiblemente el campo que tiene, así como las hermosas nubes burbujeantes tienden a producir "características genéricas" , características que tienden a tener descriptores igualmente similares (o diferentes) que muchas otras características.
En la práctica, esto significa que cuando se hacen coincidencias de características en dos imágenes desde una perspectiva diferente, las características extraídas de este tipo de superficies tienden a coincidir falsamente. He realizado una tesis de maestría que, en gran parte, se ocupa de la extracción de características para usar en la coincidencia de características que se usa para calcular una transformación de homografía entre dos imágenes cuando me encontré con este problema. No encontré ningún otro artículo que describiera este problema en ese momento, pero mi tesis podría ser útil para su enfoque general.
Por último, como ha establecido, los umbrales y las técnicas que funcionan bien en la mayoría de las imágenes extraen pequeñas características en este tipo de imágenes, debido a sus áreas en su mayoría homogéneas. Este tipo de imágenes presentan problemas en la coincidencia de funciones (que puede extenderse a la unión de imágenes), la recuperación de imágenes basada en contenido, y supongo que el seguimiento, así como aplicaciones similares. Ningún método funciona actualmente bastante bien en ellos.
Los métodos que funcionan bien en este tipo de imágenes, así como los casos típicos, se están explorando e investigando actualmente, como un enfoque en el que comencé a trabajar, que se describe brevemente en esta respuesta .
fuente