¿Por qué los sensores de las cámaras digitales no pueden exponer cada fotosita individualmente?

¿Por qué es imposible que los sensores de la cámara funcionen de la misma manera que el ojo humano? Lo que quiero decir es, ¿por qué una cierta porción de la imagen tiene que estar sobre / subexpuesta si compensamos las áreas oscuras y claras, respectivamente, al tomar una foto y decidir la configuración de apertura y velocidad de obturación?

Entiendo que la entrada de luz depende de la apertura y la velocidad de obturación, pero dado que las DSLR son digitales, ¿no puede haber una tecnología que permita que cada celda del sensor use su propia medición y, por lo tanto, no estarían sujetas a la misma cantidad? de luz, pero dependiendo de la medición, una CPU de la cámara apagaría ciertas celdas para no sobreexponerlas.

Espero no decir tonterías. Me parece una idea plausible.

¿Quién decide qué píxeles obtienen cuánta ganancia? Gran parte de lo que sucede en el sistema visual humano ocurre en la corteza, no en el ojo, y depende de lo que creemos que es importante ver en función de una combinación de decisión intelectual y el impulso instintivo (algo anulable) para la autoconservación . Si bien es cierto en un sentido que vemos lo que hay allí, es igualmente cierto en otro sentido que vemos lo que queremos (o necesitamos) ver.

Seria casitrivial para crear un sensor de densidad de píxeles relativamente bajo con fotosites grandes que permitan un rango dinámico enorme y (suponiendo una tecnología de tipo CCD, ya que la tecnología actual del sensor CMOS no puede funcionar de esta manera) un obturador electrónico por píxel además de El obturador mecánico. Entonces, ¿qué te llevaría eso? Una imagen plana con mucha profundidad de bits y muy bajo contraste local (si toda la profundidad de bits se convierte como está para su visualización o impresión) junto con una cantidad de píxeles que están casi, pero no del todo, recortados por la saturación del sensor ( aunque, de hecho, están recortados por la acción limitante del obturador electrónico justo antes del punto de saturación). Digamos, por el simple hecho de argumentar, que este sensor y su computadora asociada podrían grabar los datos de recorte (la razón por la cual dejó de grabar en ese sensor, que podría ser tan simple como registrar la duración real de la exposición en ese sitio). Eso permitiría que la electrónica de la cámara reconstruya cuáles habrían sido los números si el fotosite hubiera permanecido en el juego hasta el pitido final. Así que ahora tenemos una imagen aún más plana con mayor profundidad de bits. ¿Y dónde trazas la línea? 32 bits? 64?

Ahora viene la parte difícil: convertir esta información de imagen plana de alto rango dinámico en una fotografía convincente. El enfoque más simple es tomar los ocho bits (o lo que sea la profundidad de bits de salida) que representan la imagen medida primaria y tirar el resto. Probablemente no sería mucho más difícil ajustar los datos a una curva en S, comprimiendo las sombras y / o reflejos extremos, que es más o menos lo que ya hacen las configuraciones de rango dinámico extendido en las cámaras más nuevas. Pero solo hay tantos bits de salida disponibles por píxel, y la mayoría de los valores de resaltado extendidos se redondearán a blanco (o al menos una mezcla de 254 y 255). Entonces has ganado muy poco al complicar dramáticamente el sistema.

Pero todavía hay una opción abierta: mapeo de área selectiva. ¿Por qué no reducir el valor del cielo, digamos, o simplemente las nubes en ese cielo para que pueda retener los detalles, mientras se preserva el contraste deseado en primer plano? Aquí es donde vive el problema difícil. ¿Qué es importante? ¿Debería la cámara decidir por ti? Si la cámara decide, entonces tenemos un gran avance en visión artificial e inteligencia artificial para llegar primero. Si no es así, ¿realmente desea tomar este nivel de decisión posterior a la captura para cada imagen que tome? Sí, sé que habrá algunas foto-tecno-weinies que realmente quieran ser tan prácticas, pero ¿podemos aceptar que es una condición patológica, y que los profesionales interesados ​​en el tiempo de respuesta y la gran mayoría de los consumidores no lo son? no te gusta eso?

Por lo tanto, necesita un nuevo sensor, componentes electrónicos mucho más complicados alrededor del sensor, un enorme archivo de imagen para datos brutos proyectados (que necesita tarjetas más grandes y tiempos de escritura más largos / velocidades de cuadros más lentas), todo para recopilar datos que se desecharán más de vez en cuando para que de vez en cuando pueda tomar imágenes HDR de una sola toma que requieren mucha intervención humana en la publicación (o un gran salto en MV / AI). Probablemente podría vender algunos de estos, pero espero que el mercado se parezca mucho más al mercado de formato medio que al mercado existente de 35 mm / APS-C. Es decir, vendería a un grupo selecto de fotógrafos adinerados que realmente necesitan las capacidades por razones profesionales o para cumplir con su visión de las bellas artes, y unos pocos que simplemente obtienen una gran ayuda del postprocesamiento para pagar El impuesto tecnológico.

Hay una cosa que solo unas pocas personas mencionan, y es que una escena no se vería igual si diferentes áreas estuvieran expuestas de manera diferente a otras áreas. Una escena se ve como se ve porque hay variación. Sí, podría ser una forma de guardar reflejos y aumentar las sombras, pero al final, lo que realmente desea es un rango dinámico más grande que pueda capturar el rango dinámico en la escena usando una configuración de exposición.

Nuestros ojos son excelentes para proporcionarnos un rango dinámico mucho mayor que la tecnología actual de cámaras de consumo. Puedo mirar alrededor rápidamente y percibir detalles precisos en áreas sombreadas y áreas iluminadas por el sol al mismo tiempo.

Una de las formas en que los fabricantes de cámaras resuelven este problema es mediante el uso de píxeles de alta y baja sensibilidad en un sensor y luego combinando el resultado por píxel. Las nuevas cámaras de cine digital de RED tienen una matriz de píxeles de sensores normales y de baja sensibilidad llamada HDRx. Los pequeños píxeles del sensor de baja sensibilidad se combinan en los reflejos de los píxeles brillantes para aumentar el rango dinámico.

Primero, el rango dinámico del ojo humano no es tan bueno. Solo parece ser mejor que nuestras cámaras de gama alta actuales, porque nuestro cerebro combina constantemente "instantáneas" tomadas con diferentes configuraciones de exposición. Nuestros ojos no pueden registrar objetos extremadamente brillantes y extremadamente oscuros simultáneamente (aunque el cerebro sí puede). Verdadera maravilla del procesamiento de imágenes, pero solo un dispositivo de imagen / óptica mediocre.

Existen varias propuestas / prototipos que muestran cómo el rango dinámico de los sensores de imagen podría mejorarse considerablemente:

• Modulo Camera de MIT

  cada fotodiodo restablece su estado al alcanzar la carga máxima y recuerda cuántas veces sucedió

• Sensor de imagen Quanta por Eric Fossum

  utiliza píxeles de conteo de fotones mucho más pequeños y rápidos en lugar de contenedores de carga "analógicos" + convertidores A / D

Te estás perdiendo algo de física básica aquí. El principal problema es que las escenas reales tienen grandes relaciones de contraste. Nuestros ojos han evolucionado para lidiar con eso al percibir los niveles de luz de forma logarítmica en lugar de lineal. Desafortunadamente, la tecnología actual de sensores mide inherentemente la luz linealmente. O, para ser más precisos, el ruido se fija en una escala de luz lineal.

Con la tecnología actual, el límite máximo de contraste es básicamente una función del nivel de ruido. En aras de la discusión, usemos una escala de luz de 0-1000, lo que significa que un sensor puede indicarle el nivel de luz de 0 a 1000. ¿Cuál es la relación más alta que puede medir? Depende del nivel de ruido. El nivel de ruido es básicamente lo que obtienes en lugar del negro verdadero, que sería 0 en este ejemplo. Aproximadamente, si el nivel de ruido es 2, obtienes una relación de brillo de 1000: 2 = 500: 1. Mientras la escena no exceda eso (casi todo lo haría, en realidad 500: 1 no es tanto), puede hacer cualquier mapeo logarítmico que desee más adelante.

Entonces, la estrategia actual, dado que los sensores actuales son inherentemente lineales, es tratar de aumentar la relación señal / ruido y proporcionar suficientes bits para que el ruido de cuantificación esté por debajo del ruido aleatorio inherente. Cuanto más bajo sea el ruido del sensor, más amplias serán las escenas de rango dinámico que puede capturar sin recortar los reflejos o enturbiar las sombras.

Existe una tecnología de sensor totalmente diferente que mide inherentemente el registro del brillo. A veces, estos se denominan sensores "CMOS", porque son muy parecidos a las RAM dinámicas CMOS con la tapa retirada (simplifico demasiado, pero la primera prueba en el laboratorio se realizó de esta manera). Obtiene un voltaje proporcional al registro de la luz, pero estos actualmente tienen relaciones de señal a ruido mucho más bajas. Mitsubishi fue el primero en comercializar estos sensores, pero aún no son lo suficientemente buenos para las cámaras de gama alta.

No hay duda de que habrá avances en múltiples frentes, y estoy seguro de que veremos un progreso constante en los próximos años. Sin embargo, hay buenas razones por las cuales las cosas son como son ahora, no solo porque nadie puede imaginar algo mejor. Si alguien tuviera una tecnología que pudiera medir con precisión un amplio rango dinámico y a un precio que la gente está dispuesta a pagar, se enriquecería.

Creo que es demasiado complicado.

Básicamente habría dos enfoques posibles; o bien cada fotosensor podría realizar un seguimiento del tiempo y apagarse, o la CPU podría realizar un seguimiento de los datos de los fotosensores y apagarlos.

Para el primer enfoque, significaría que cada fotosensor necesitaría una señal de reloj y un contador, para poder realizar un seguimiento de cuánto tiempo tardó hasta que se apagó. Eso es mucho más circuito para caber en el chip, y se necesita mucha más electricidad para ejecutarlo, lo que aumenta el ruido de la señal. Probablemente tanto que el aumento del rango dinámico sería inútil.

Para el segundo enfoque, la CPU necesitaría leer todos los datos del sensor aproximadamente una vez cada 1/10000 de segundo. Eso es aproximadamente 1000 veces más rápido de lo que la tecnología actual puede lograr, por lo que eso es décadas en el futuro, si es posible.

Además, existen otras complicaciones con dicha solución, como que cada píxel obtendría un tiempo de exposición diferente. Obtendría artefactos bastante extraños si fotografía algo que se mueva.

Si bien es cierto que las DSLR son digitales, las lentes no lo son. Todos los sensores celulares estarán sujetos a la misma apertura, sin importar cuán inteligente se vuelva el cuerpo de la DSLR, porque la apertura se establece en la lente. Entonces, creo que la apertura de la apertura por celda del sensor está desactivada, al menos con la tecnología de lentes actual.

En cuanto a la velocidad de obturación, eso es controlado por la cámara, pero si imaginamos una cámara que puede variar la velocidad de obturación en diferentes partes de la imagen para controlar la exposición excesiva / insuficiente, terminará con un desenfoque de movimiento desigual. Las partes más oscuras de la escena tendrán que estar expuestas por más tiempo y serán más borrosas que las partes más brillantes. Creo que una solución que cambia la velocidad de obturación no funcionará por este motivo.

Entonces, lo único que queda es ISO. Variando el ISO significaría diferentes niveles de ruido en diferentes partes de la imagen. Esto no suena tan mal, teniendo en cuenta que obtendría un rango dinámico mucho mayor a cambio. No sé mucho sobre cómo funcionan los sensores, pero me imagino que la configuración ISO se implementa en los sensores como una especie de "ajuste" hacia un subconjunto específico de la escala de brillo. Me parece que sería prohibitivamente costoso tener una medición independiente y un control ISO en cada celda del sensor, pero tal vez la imagen se puede dividir en áreas, y cada área se mide por separado. Entonces la cámara tendrá que tener algún tipo de algoritmo para mezclar las áreas expuestas de manera diferente, algo de lo que hace "enblend" cuando ensambla un panorama donde cada imagen tiene una exposición diferente. Esto me suena factible.

Otra opción sería tener una cámara con múltiples sensores, cada uno configurado con un ISO diferente. En tecnología de video hay 3 cámaras CCD, donde cada CCD graba una de rojo, verde y azul. No veo por qué no podría haber un concepto similar para las DSLR, donde múltiples sensores toman la imagen a diferentes niveles ISO, produciendo una imagen HDR.

No puedo encontrar la información en este momento, pero parece recordar haber leído una descripción de una tecnología similar. La idea era más o menos la siguiente: lo único que hay que tener en cuenta son los reflejos exagerados. Si puede evitarlos, las áreas oscuras pueden cuidarse mediante una mayor exposición a la imagen completa. Entonces, para evitar reflejos excesivos, cada sensor realizará un seguimiento de su luz acumulada, y si eso se acerca al máximo, el sensor se apagará. Eso por sí solo no mejoraría nada, en realidad empeoraría las cosas, en lugar de tener pocos reflejos exagerados blancos brillantes, uno terminaría con reflejos aún más oscuros. Entonces, en lugar de simplemente apagarse, la celda también apagaría las celdas en algún vecindario, lo que preservaría algunos detalles en áreas brillantes.

Como escribí, no puedo encontrar el texto ahora, pero de alguna manera está en mi mente asociado con las cámaras digitales HP.

Se puede hacer matemáticamente (teóricamente): http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.64.9692&rep=rep1&type=pdf