¿Existe algún software que pueda identificar la iluminación en una foto existente?

¿Existe una aplicación que tomará una región seleccionada de una foto y devolverá su estimación de los parámetros de iluminación necesarios para emular las condiciones de iluminación en la región seleccionada de la foto?

Mi suposición sobre los parámetros que devolvería incluyen: fuentes de iluminación, difusión de la fuente, color de la fuente, duración de la fuente, fuente de luz reflexiva / incidente, fuente de movimiento, etc. (Agradezco comentarios sobre estas conjeturas y sobre la probabilidad que es posible modelarlos estáticamente).

lighting software white-balance errores
fuente

Eso parece una tarea difícil. Cuando miramos una foto, aplicamos algunos conocimientos conscientes del contexto sobre lo que estamos viendo (en otras palabras, tenemos alguna versión de "normal" en nuestras mentes que podemos comparar con la foto). Me impresionará si hay algo por ahí que pueda hacer esto.

D. Lambert

@RE. Lambert: De acuerdo, aunque creo que algunos de los algoritmos dentro de PhotoShop hacen cálculos para cosas como esta, pero hasta donde yo sé no hay salida que sea legible para uso externo; lo que significa que esos cálculos se utilizan como entrada para otros cálculos.

errores el

El trabajo requerido para crear un software como este es de un millón de veces en comparación con las 2-3 horas de entrenamiento que alguien necesitaría para adivinar con precisión la mayoría de los parámetros. Además, algunas de estas cosas son imposibles de entender ... ¿fuente-duración?

Jędrek Kostecki

+1 @ Jędrek Kostecki: Buen punto con respecto a que los humanos podrían hacerlo más rápido (actualmente), aunque cuál es la diversión en eso ... :-) ... "duración de fuente", por ejemplo, se utilizó un flash.

errores el

Ah, el mejor software del mundo es probablemente el cerebro humano. Se podrían desarrollar algoritmos para esto que pudieran hacer aproximaciones razonables basadas en luces y sombras, pero ¿por qué hacerlo? Es probable que el cerebro humano salte a la respuesta más rápido con la tecnología actual que una computadora.

John Cavan

Respuestas:

En realidad ha habido bastante investigación en esta área:

Sin embargo, los resultados son limitados ya que el problema está enormemente poco restringido, ya que hay muchas más incógnitas que datos. Esto significa que las soluciones exactas son imposibles, y cualquier respuesta que obtenga está sujeta a ambigüedad.

Otro problema para lo que está sugiriendo es que la investigación en esta área está dirigida a la comprensión de la máquina de imágenes visuales. Ser capaz de estimar la iluminación sería importante para que los robots naveguen visualmente por un laberinto, ya que podrían juzgar el ángulo de las paredes, etc. Estas aplicaciones tendrán diferentes demandas en el software que el objetivo artístico de recrear la iluminación en un buen retrato para ejemplo.

Sobre el tema de la diferencia entre la investigación y el software comercial, la investigación de hoy forma la base del software del mañana (una de las razones por las que sigo los procedimientos de SIGGRAPH cada año). La costura panorámica automática fue un proyecto de investigación una vez y ahora se da por sentado. Recuerdo haber leído sobre el cambio de tamaño consciente del contenido cuando se publicó en una conferencia de visión por computadora (en aquel entonces se llamaba "talla de costura") y pasaron solo un par de años antes de que se convirtiera en una característica estándar en Photoshop.

Sin embargo, hay una diferencia entre algo de relleno con reconocimiento de contenido y lo que está proponiendo, y esto es que el relleno con reconocimiento de contenido puede ahorrar horas de retoque y, por lo tanto, existe una gran demanda. Estimar las condiciones de iluminación de una fotografía es un proceso muy rápido para alguien experto en iluminación.

Un último atisbo de esperanza radica en el área de la postproducción de video. Estimar / modelar las condiciones de iluminación originales es importante para componer de manera realista la animación generada por computadora en imágenes reales (es mucho más probable que se noten inconsistencias de iluminación en las imágenes en movimiento que en una fotografía). Eso más la cantidad adicional de datos disponibles en una transmisión de video, y creo que verías la función que estás buscando después de aparecer primero en el software de edición de video.

Matt Grum
fuente

+1 @ Matt Grum: Gracias, la investigación ayuda a "iluminar" los problemas para resolver este problema. Supongo que los sensores de robot y la IA probablemente utilizarían la correlación de observaciones longitudinales en el tiempo y el espacio, incluyendo posibles filtros para diferentes longitudes de onda de luz; por ejemplo, infrarrojo para detectar calor. En cuanto a los objetivos artísticos, ¿quiere decir que lo más probable es que requieran inferencias que irían más allá de la ubicación de la cámara, las luces y los objetos?

errores el

Supongo que uno debería señalar que cuando se trata de pano automático. costura, tiene toda la información necesaria disponible en las imágenes que está uniendo. Eso está en fuerte contraste con adivinar la iluminación que ilumina una escena, ya que (fuera de una luz EN la escena) nunca se puede saber cuál era la fuente de luz. En la costura panorámica, usted es rico en información ... en adivinar la fuente de luz, es anémico. Cuando se trata de video y CG, tiene la opción si ingresa explícitamente información de iluminación EXACTA, y adivinar es innecesario.

jrista

@jrista es cierto, pero en el llenado con conocimiento de contenido , no tiene información sobre el área que está tratando de llenar, todo es inferencia, como el problema de estimación de iluminación, habría parecido bastante improbable en un momento, pero ahora es una característica estándar en Photoshop, GIMP

Matt Grum

+1 @ Matt Grum: De hecho, el relleno consciente del contenido era lo que había estado pensando como un ejemplo aproximado de esto, aquí hay un video que muestra un ejemplo de su uso .

errores el

@MattGrum: si investiga cómo funciona el relleno con reconocimiento de contenido, no es tan anémico como la iluminación de invitados. Una parte importante del relleno consciente del contenido es la clonación del contenido cercano, junto con algunos algoritmos inteligentes básicos y coincidencia de patrones para hacer que el contenido completado sea congruente y consistente con el patrón. USTED TIENE MUCHA información disponible para que el contenido conozca el trabajo de relleno ... como la costura panorámica. La única información que tiene para adivinar la iluminación es lo que refleja la escena. La cantidad de información útil disponible es de diferente magnitud.

jrista

Francamente, no, no con el software disponible actualmente. Puede haber investigaciones en curso aquí y quién sabe lo que depara el futuro, pero en este momento, no.

Hay demasiada información para que el software la procese, especialmente a nivel de consumidor. Por lo menos, tendría que tener alguna forma de decirle al software cómo se veía el tema UNLIT. Esa es la ventaja que tiene un humano: tenemos una pre-visualización en nuestras mentes de cómo se vería el sujeto normalmente. Esto permite que una persona diga "bueno, NORMALMENTE no tiene un área oscura que se desvanece allí o un punto brillante allí".

Además, hay MUCHAS formas diferentes de producir el mismo efecto en la iluminación (aunque muchas son más comunes que otras).

rfusca
fuente

@rfusca: Sí, la "preconciencia" de los objetos de cualidades reflexivas, y la relación de la cámara con las luces y los objetos aumentaría la probabilidad de que esto fuera posible, aún creo que esto es posible; después de todo, las estimaciones no son perfectas.

errores

@blunders: A lo sumo, las estimaciones podrían darle información aproximada sobre la cantidad de reflectancia se puede observar en una escena ... pero hincapié en bruto . Tratar de obtener algo más que una suposición de colorete sobre el número de fuentes de luz, los atributos de la fuente (color, difusividad, duración de la emisión), etc. es realmente solo pedir muchas conjeturas basadas en un juicio basado en la observación. Si hay una cosa que las computadoras apestan ... eso es todo. Hacer una suposición precisa y educada sobre qué iluminación puede haber iluminado una escena requiere una mente experimentada .

jrista

Podría argumentar que una inteligencia artificial suficientemente avanzada podría aprender lo suficiente como para convertirse en una mente experimentada en relación con la observación de la iluminación de fotografías ... pero en este momento dudo que haya algo como esto en una escala rudimentaria, y mucho menos algo eso podría producir resultados consistentemente útiles.

jrista

@jrista - Correcto, mi respuesta refleja si es probable que exista algo con la tecnología actual que produzca resultados realistas, utilizables y precisos.

rfusca

Creo que este es probablemente el caso. Sin embargo, no me sorprendería en absoluto si hubiera investigaciones en esta área. Parece un problema interesante. Por lo tanto, dudaría en decir "no" sin algún estudio.

Lea mi perfil el