¿Pueden existir cámaras + pantallas con comportamiento óptico de ventana / espejo?

Las pantallas de visualización conectadas a las cámaras son significativamente diferentes de las ventanas o los espejos. Mirando a través de una ventana o espejo, podemos enfocarnos en el infinito, y podemos mover nuestro punto de vista para ver un poco diferente. Con una pantalla que muestra imágenes de la cámara en vivo, vemos el campo de visión desde un solo punto (la ubicación de la cámara) y nuestro foco está en la pantalla.

¿Sería posible desarrollar una pantalla + cámara que tenga un comportamiento mucho más cercano a una ventana o un espejo? Creo que la pantalla y la cámara necesitarían tener la misma superficie. Ambos serían sensibles a la dirección, y cuando el píxel de la cámara en la cámara recibe un fotón con frecuencia desde los ángulos , la pantalla envía un fotón correspondiente a la frecuencia desde posición a la dirección , donde se calculan a partir de imitando un comportamiento similar a una ventana o espejo.$(C_i, C_j)$$\nu$$(C_\phi, C_\theta)$$\nu$$(S_i, S_j)$$(S_\phi, S_\theta)$$(S_\phi, S_\theta)$$(C_\phi, C_\theta)$

¿Es este dispositivo teóricamente posible? En caso afirmativo, ¿tal dispositivo sería técnicamente factible hoy? En caso afirmativo, ¿ha habido algún trabajo serio en tales dispositivos? Si es teóricamente posible pero no factible hoy, ¿qué se necesitaría desarrollar antes de que tales dispositivos estén en el horizonte?

Debería tener una amplia gama de aplicaciones en telepresencia , realidad aumentada , ingeniería automotriz y seguramente muchos otros campos.

La tecnología para hacer lo que quieres ha existido durante décadas, y se llama holografía . El problema con los sensores y pantallas fotográficos comunes es que solo registran / reproducen información de amplitud sobre la luz. Para saber, por ejemplo, de qué ángulo proviene el rayo, también debe registrar la información de fase de la luz. Esto es precisamente lo que hace la holografía.

En la imagen que se muestra en la parte inferior, puede ver que dos imágenes de un solo holograma tomadas desde diferentes ángulos muestran al mouse como si fuera visto desde diferentes ángulos. Hay partes de la escena visibles desde un ángulo que ni siquiera son visibles desde el otro ángulo, como la parte posterior del mouse y la rama detrás del mouse.

Las tecnologías necesarias para hacer hologramas en tiempo real (similar a una cámara con pantalla) todavía están en las fases de I + D y son muy rudimentarias en este momento. Los moduladores de luz espacial proporcionan una forma de producir hologramas 2D en tiempo real. Este grupo pudo grabar el holograma usando una cámara 4K estándar con una matriz de lentes y utilizó moduladores de luz espacial para reproducir el holograma en tiempo real (aunque no particularmente bien).

Tal pantalla puede ser posible con tecnología similar a los metamateriales que se conoce por la aplicación potencial como una 'capa de invisibilidad'. Algunas compañías también afirman haber logrado esto para los militares, pero su efectividad es cuestionable porque todas las relaciones públicas a su alrededor usan imágenes fijas y maquetas.

El truco sería recoger la luz de todas las direcciones y volver a producir la misma dispersión en el otro lado (o desde la pantalla). Hay formas de hacer que las cosas sean 'invisibles' para algunas longitudes de onda utilizando la refracción para doblar las ondas EM alrededor de un objeto central, pero es poco probable que esto funcione para una 'pantalla' colocada arbitrariamente, a menos que pueda capturar la entrada con un paquete de fibra óptica y de alguna manera, reproduzca exactamente en el otro extremo (sin 'retorcer' la dispersión saliente).

Todo lo que parece bastante confuso y demasiado subdesarrollado para la aplicación práctica que está buscando aquí. Probablemente lo mejor que podría lograr sería una pantalla lenticular 3D con seguimiento de cabeza / ojo para poder manipular la imagen de acuerdo con la posición relativa de la pantalla / cabeza.

Hasta donde sé, esto solo funcionaría para una persona a la vez con la tecnología actual. Luego, la entrada debería procesarse en una escena 3D para poder volver a visualizarla desde otros ángulos. Esta tecnología es razonablemente madura y hay muchas tecnologías que van desde la captura de luz visible basada en una cámara pura con procesamiento de software, hasta cámaras de escaneo 3D activas que combinan múltiples entradas activas y pasivas. Alternativamente, se podría utilizar una gran variedad de cámaras 2D y seleccionar dos adecuadas para que coincidan con la orientación relativa de la pantalla principal. Su campo de visión aún necesitaría ser manipulado de acuerdo con la distancia de la pantalla principal, esto probablemente sería más fácil de hacer digitalmente recortando y escalando la imagen desde una lente gran angular.

La transmisión de cada fotón individual no es factible, dada la cantidad de cálculo que se requeriría, pero la tecnología para capturar cierta información sobre la dirección de la luz entrante ya existe y se utiliza en la cámara Lytro "campo de luz".

La visualización del campo de luz correspondiente no existe, que yo sepa. El sistema Lytro utiliza una pantalla convencional con posprocesamiento que le permite ajustar el punto focal, la profundidad de campo, etc., después de tomar la foto.

Cámaras 3D

Las cámaras 3D que constan de dos cámaras separadas para permitir la percepción de profundidad han existido durante mucho tiempo. El único problema es que mostrarlo a un par de ojos humanos de una manera que el cerebro pueda entender puede ser difícil. La mayoría de los esfuerzos actuales se centran en mostrar solo una imagen a cada ojo y permiten que el cerebro se centre en sincronizar las imágenes con una narración coherente.

El problema con esto es que necesita una pantalla muy cerca de los ojos o un par de anteojos polarizados.