¿Hay algún algoritmo de visión por computadora dirigido específicamente a imágenes de profundidad?

9

He estado buscando algoritmos de detección de marcadores para usar con una aplicación basada en Kinect, y la mayoría del trabajo que he podido encontrar obviamente se centra en la detección de características en imágenes 'normales'.

Sin embargo, el hardware de Kinect proporciona (esencialmente, una vez que ha ajustado) un valor de profundidad de 11 bits por píxel.

Esta imagen de profundidad también tiene varios artefactos visuales en ella desde las sombras proyectadas alrededor de los bordes de los objetos (ver, por ejemplo, el fuerte borde negro en este video http://www.youtube.com/watch?v=-q8rRk8Iqww&feature=related ).

Si bien algunas técnicas tradicionales de visión artificial (p. Ej., Detección de bordes) funcionan bien con esto, otras no, y parece que hay poca información en la red que lo discuta.

Como un simple ejemplo, el uso del valor de profundidad hace que sea trivial detectar la orientación de un bloque marcador una vez que lo haya localizado.

Entonces, ¿alguien ha visto discusiones / documentos / etc. que cubran el procesamiento de una imagen de profundidad para la detección de características?

¿Alguien puede recomendar un buen algoritmo para detectar marcadores de "profundidad" (efectivamente bloques de origami en lugar de marcadores en blanco y negro impresos)?

Lo que he hecho hasta ahora ha sido la experimentación ad hoc usando opencv para procesar las imágenes, pero eso no es lo suficientemente estable o rápido.

Si se vincula a un producto comercial de visión artificial sin algún tipo de prueba, mencione en su respuesta por qué cree que es apropiado.

Doug
fuente
Hay toneladas de documentos y programas para esto. Lo siento, no puedo responder con más detalle, con poco ancho de banda. Vea la aplicación RGBDemo, incluye un reconocedor de objetos. Además, PointCloud Library (PCL), ROS, OpenCV, para software, y presumiblemente Google Scholar para trabajos. Usted menciona que OpenCV no es satisfactorio para usted, pero PCL y RGBDemo pueden serlo.
No estoy buscando una implementación de una demostración que muestre el kinect, o algunas demostraciones de PC que muestren cómo generar un modelo 3D a partir de un kinect o un kit de herramientas de procesamiento de imágenes (es decir, opencv). Estoy buscando algoritmos para el reconocimiento de características basados ​​en imágenes de profundidad.
RGBDemo implementa esos algoritmos. Lea el código o las referencias para el código.

Respuestas:

8

Mi descriptor de características 2.5D / 3D favorito para el registro y el reconocimiento es la imagen giratoria (papel original + más detalles en tesis doctorales y software disponibles de CMU).

Otros avances recientes (todos buscables en línea para algoritmos adecuados) incluyen: 3D-Sift, histograma de características de punto rápido, características radiales alineadas normales (NARF), descriptores de núcleo de profundidad. Los métodos más antiguos simplemente usaban propiedades de superficie como la curvatura y los bordes para identificar parches de región.

¿Cuál es el mejor? Depende de lo que desee encontrar, la invariancia del punto de vista, el desorden adicional, etc.

tiluki
fuente
7

Tienes todas las palabras clave correctas, me sorprende que realmente no hayas encontrado ningún artículo relacionado mientras buscabas material.

Afortunadamente, tengo acceso a la biblioteca digital IEEE Xplore. No necesito ninguno de estos algoritmos particulares antes, pero parece muy interesante, así que aquí hay algunos resultados de una búsqueda rápida que creo que podrían ser relevantes (no los juzgues por sus títulos, mira sus resúmenes):

Desafortunadamente, no creo que pueda acceder a ninguno de estos documentos de forma gratuita, al menos no a través de la biblioteca IEEE Xplore. Si no tiene acceso, probablemente pueda hacerlo con Google Scholar , y hay algunas bases de datos en papel gratuitas (utilicé la base de datos de Mendeley cuando aún no tenía acceso a IEEE). Además, solo buscar en Google partes del resumen o partes aleatorias del artículo a veces produce algunos resultados (es posible que te encuentres con una versión pre-publicada casi terminada del artículo).

Las consultas de búsqueda que utilicé para encontrar los documentos mencionados fueron: imagen 3D , imagen de profundidad , kinect . Es posible que también desee incluir el procesamiento al buscar las dos primeras consultas.

Espero que esto ayude un poco! Lamento no poder entrar más en el tema, suena realmente interesante.

penelope
fuente
@mankoff solo desde el resumen, solo veo el trabajo concentrado en el seguimiento, y parece que se concentra en usar la información directa con poca detección de características. Pero entonces, acabo de leer el resumen, así que no estoy seguro.
Buscar en Google los títulos de los documentos es suficiente para encontrar archivos PDF para varios de esos documentos. Otra buena fuente es CiteSeer: citeseerx.ist.psu.edu/index ¡ Gracias por la lista de documentos!
Repensar el