¿Por qué las cámaras usan una sola exposición en lugar de integrarse en muchas lecturas muy rápidas?

24

Nunca he entendido por qué las cámaras necesitan un obturador con una velocidad específica y por qué esto no se puede ajustar en el procesamiento posterior. Creo que el sensor actual funciona de manera integral: ahorran la cantidad de luz que les llega durante todo el tiempo que el obturador está abierto. Pero, ¿por qué no pueden trabajar de manera diferencial?

En mi opinión, tengo esta idea: configurar la velocidad del obturador para que esté abierta durante mucho tiempo, más de la que necesita ... por ejemplo, a la luz del día, configúrelo en 1 segundo, presione el botón, el obturador se abre y se inicia el sensor para grabar, pero de manera diferencial: ahorraría la cantidad de luz que llega cada 0.001 segundos durante 1 segundo. De esta manera tengo más información, en realidad tengo 1000 cuadros grabados en 1 segundo y en el postprocesamiento puedo elegir integrar solo los primeros diez, para simular un disparo con 0.01 segundo, o los primeros cien, para simular un disparo con 0.1 segunda exposición

Utilizando un procesamiento sofisticado o seleccionando áreas manualmente, incluso podría decidir usar una exposición diferente para diferentes partes de la imagen final, por ejemplo, una exposición de 0.1 segundos para el suelo y 0.03 para el cielo, usando 100 cuadros para el cielo y 30 cuadros para el cielo.

¿Tiene sentido? ¿Por qué las cámaras no funcionan de esta manera?

Ruggero Turra
fuente
Había marcado esto como un duplicado en la primera lectura, pero no es, al menos no de la pregunta que vinculé, lo que hace suposiciones diferentes (e incorrectas).
mattdm
1
¿Has mirado antes a las cámaras de video digital de alta velocidad?
Cascabel
Con respecto a su edición ... ¿cómo diría la cámara qué es el suelo contra el cielo y qué pasa con las personas paradas en el suelo que cubren parte del cielo y se mueven dentro de su marco? Esto requeriría un procesamiento mucho más allá de un diseño de sensor diferente.
Itai
1
Supongo que nunca ha intentado lograr efectos específicos causados ​​por combinaciones específicas de velocidad de obturación, iluminación y apertura. Y nunca ha tenido que lidiar con la necesidad de una exposición muy rápida para capturar objetos en movimiento.
Jwenting

Respuestas:

16

El problema es la velocidad de lectura. No puede leer todo el sensor lo suficientemente rápido como para que esto funcione en el caso general. Incluso si pudieras. también habría un efecto perjudicial en la calidad de la imagen, ya que estaría aplicando ruido de lectura una y otra vez.

Al menos con los sensores CMOS puede leer en ubicaciones aleatorias, pero con los sensores CCD cada fila se desplaza a la siguiente para realizar la lectura. Es por eso que cuando las luces son demasiado brillantes, se obtienen rayas verticales en la vista previa de las cámaras que usan CCD.

Luego hay razones por las cuales los fotógrafos eligen una velocidad de obturación : para congelar un trozo de tiempo. La gente casi siempre estaría borrosa si no detenías el obturador lo suficientemente rápido.

Itai
fuente
¿Cuál es la velocidad de lectura actual? 1 s, 0.1 s, ...? Como las cámaras normales pueden grabar videos a 25 fps, diría ~ 0.04s. Parece demasiado lento para las fotos normales.
Ruggero Turra
8
@wiso Las cámaras normales pueden grabar video a 25 fps submuestreando el sensor. La mejor lectura-> velocidad de proceso para todo el sensor es la Canon 1DX de 18MP que puede hacer 1 / 14s en JPEG y 1 / 12s RAW.
Matt Grum el
También hay razones artísticas para dejar el obturador abierto durante mucho tiempo, como para ablandar el agua, difuminar el movimiento de un jugador de béisbol corriendo hacia una base, etc.
jrista
@jrista: puedes alcanzar el mismo efecto superponiendo muchos cuadros rápidos.
Ruggero Turra
2
@wiso: No, no puedes superponer cuadros rápidos que congelen por completo el movimiento para crear la aparente sensación de movimiento. Si tomamos una cascada como ejemplo, congelar el movimiento de la cascada a alta velocidad captura muchos detalles. La superposición de varias imágenes puede aumentar la cantidad de "ruido de detalle" en la cascada en sí, pero nunca podrá crear ese efecto de agua suave ... explícitamente necesita que el obturador esté abierto durante un período de tiempo más largo para lograrlo. ese. El jugador de béisbol sería similar. Superponer varias tomas no lo hará, especialmente si quieres ...
jrista
10

Creo que podrían funcionar de esa manera, pero hay dos grandes problemas:

  1. Como los sensores funcionan ahora, el ruido de lectura solo ocurre una vez. Con muchas lecturas muy cortas, el ruido de lectura se agravaría.
  2. Solo hay más datos de los que podemos manejar. Esto es un problema al leer el sensor (demasiados datos para leer) y los archivos RAW resultantes serían mucho más grandes de lo que son hoy.

En su pregunta original, utilizó ¹⁄₁₀₀th de segundo como ejemplo. En realidad, esa no es una velocidad de obturación muy larga, y ya es 10 × donde estamos con las cámaras actuales. Para que esto sea realmente significativo, necesitaríamos la tecnología hasta el punto en que el sensor se lea de 10 a 100 veces más rápido que eso , lo que agrava los problemas de manera significativa.

El segundo problema será resuelto por la ley de Moore en una década o dos, y el primero también puede serlo, ya que la electrónica se hace más pequeña y más precisa. Por el momento, no es práctico.

La Olympus OM-D E-M5 en realidad tiene una función en la que muestra la exposición "desarrollándose" en exposiciones largas, pero que evita los problemas anteriores al requerir un mínimo de medio segundo entre lecturas: solo es útil para exposiciones prolongadas.

Pero, en el futuro, con una mejor electrónica, todas las cámaras probablemente funcionarán de esta manera, y con mucho más almacenamiento disponible, también podrían grabar continuamente. El botón "obturador" simplemente serviría para marcar una parte de la transmisión como interesante, para su posterior desarrollo. Y mientras lo hacemos, abandone la lente y haga de esta una cámara de campo de luz de 360º; El encuadre, la apertura y el enfoque también se pueden seleccionar después del hecho, arrojando por completo la sabiduría convencional sobre los conceptos básicos de la cámara.

mattdm
fuente
Fuera del formato, realmente no puedo distinguir tu respuesta y la mía :)
Itai
Como un pensamiento interesante (para mí): solo tendría que almacenar la diferencia entre fotogramas sucesivos, por lo que la cantidad de datos no sería necesariamente mucho mayor que un solo fotograma. Sin embargo, el tiempo de procesamiento podría ser un problema con la tecnología actual.
BobT
@BobT Ni siquiera ... solo necesitas un acumulador de alta profundidad de bits o incluso punto flotante. Usted lee el incremento y lo agrega. ¡Solo necesitas una imagen al final, no un video! Las imágenes HDR a menudo son de punto flotante de 32 bits y es un rango suficiente para prácticamente cualquier uso práctico.
Itai
@Itai: sí, noté que el tuyo entraba mientras escribía y pensé eh, terminaré de todos modos.
mattdm
@BobT: todavía tendría que leerlo, y dado el ruido (no solo el ruido de lectura), no estoy seguro de cuánta compresión le compraría. Pero eso sí, vamos a hacer que en la cámara teórico, sobre todo porque en su mayor uso que haga queremos ahorrar tanto como sea posible.
mattdm
4

Como muchas personas han mencionado, existe el aspecto de la velocidad de lectura de esto. Los circuitos de imágenes no pueden simplemente "adquirir" los valores de píxeles del sensor instantáneamente, sino que deben leerse línea por línea.

Luego, también debe pensar dónde van estos valores de actualización de píxeles. Incluso con algo de compresión, suponiendo una baja entropía de cuadros posteriores en relación con cuadros anteriores, ocuparán una cantidad considerable de espacio. Y también, los datos que no son muy comprimibles ralentizarán todo el proceso, ya que no se puede garantizar la compresibilidad de un nuevo marco en relación con el anterior, el sistema aún necesitaría tener suficiente ancho de banda para cubrir el peor de los casos sin degradarse.

Finalmente, (y esto es algo cursi), debe tenerse en cuenta el efecto de la desigualdad de Heisenberg o el principio de incertidumbre. En cada muestra, tenemos un nivel de incertidumbre acerca de la medición. Al tomar muchas muestras (cada una de las cuales aparentemente tenemos poca confianza, de lo contrario podríamos seleccionar un solo cuadro de los miles), estamos obteniendo incertidumbre sobre cada uno de esos cuadros, en lugar de solo una vez. Esto se agravaría al combinar múltiples cuadros, y ahora la incertidumbre máxima se multiplica por el número de cuadros con los que está componiendo la imagen final. En el peor de los casos, esto podría degradar las imágenes considerablemente.

usuario1207217
fuente
1
Estimado usuario 1207217: Soy un físico de partículas, permítanme decir que la desigualdad de Heisenberg realmente no encaja con este caso. Como la suma de muchos cuadros es lineal y no están correlacionados, el ruido que obtienes al integrar muchos cuadros es exactamente el mismo que el que usa un disparo único equivalente.
Ruggero Turra
Incertidumbre de medida = \ = ruido. Soy muy consciente del efecto de promediar el ruido tiende a la media del ruido. En el caso de 0 ruido medio, esto es simplemente 0
user1207217
@wiso agregaría, el principio de incertidumbre es muy aplicable aquí. Así como es aplicable a la resolución de frecuencia de tiempo, también es aplicable a la resolución de espacio-tiempo (que es lo que tenemos en este caso). Es posible que actualmente no estemos cerca de los límites con la tecnología actual, pero la compensación ciertamente existirá y se convertirá en un factor limitante en este tipo de proceso de imágenes.
user1207217
2

Si bien su idea es intrigante, hay varias razones por las que no funcionaría.

Tamaño del archivo: piense en el tamaño del archivo de imagen resultante. Mi 8mp SLR da archivos de alrededor de 3mb de tamaño. Si tomara 100 imágenes cada vez que presionara el obturador, habría tomado 300mb en mi tarjeta. Una tarjeta se llenaría demasiado rápido. Además, estos son solo números para mi cámara, que tiene una resolución relativamente baja. Para cámaras profesionales, el tamaño fácilmente podría duplicar o triplicar eso. En Raw, el tamaño podría aumentar otras tres veces más o menos. Al final, el rodaje profesional de Raw podría terminar con más de 3 gb por disparo.

Exposición: a veces, una cámara necesita exponer por más de 1/100 seg. para obtener la cantidad adecuada de luz. Si disparó con poca luz, las imágenes resultantes estarían subexpuestas y potencialmente inutilizables. No puede simplemente combinar imágenes para compensar esto, ya que no puede encontrar datos que no están allí.

Ruido: a medida que los sensores se calientan, muestran un fenómeno conocido como ruido. Esta es la moteada de píxeles coloreados al azar aparentes en algunas fotos. Si el sensor funcionara constantemente durante un segundo a la vez, los niveles de ruido aumentarían rápidamente, lo que podría generar imágenes inutilizables.

Velocidad de escritura de la tarjeta: las tarjetas de memoria están limitadas en cuanto a la rapidez con la que pueden agregar información. Esto se conoce como su velocidad de escritura. Para manejar archivos de este tamaño, las tarjetas necesitarían una velocidad de escritura rápida. Estas tarjetas pueden ser extremadamente caras.

Entonces, para recapitular, esta es una idea interesante, pero es una con varios obstáculos grandes en su camino.

Espero que esto haya ayudado.

Evan Pak
fuente
Excepto por el ruido de lectura, puede hacer el efecto de una exposición más larga agregando múltiples cuadros rápidos. De hecho, a menudo se hace , pero no generalmente para exposiciones individuales tan cortas como para aplicar a la fotografía "normal", y generalmente no en la cámara (aunque las réflex digitales Pentax pueden hacerlo de forma limitada).
mattdm el
1
Para construir sobre lo que dijo mattdm: teóricamente puedes combinar exposiciones, los datos están ahí. El problema es que para exposiciones muy cortas, con sensores reales, los datos están enmascarados por una enorme cantidad de ruido en relación con la señal, y la imagen resultante será muy pequeña. Mejores sensores con una SNR más adecuada en los tiempos de exposición cortos harían factible el concepto en el OP.
cuál es el
Creo que el tamaño del archivo no es un gran problema, en mi opinión, puede elegir disparar en modo integral o en modo diferencial. Timelapse necesita mucha memoria, esto no significa que las personas no lo estén haciendo. Para la exposición , creo que está equivocado, como dijo mattdm, y creo que el ruido es el mismo en el caso de que solo haga un disparo o sume más disparos, la única diferencia es que abre y cierra el obturador. Al sumar diferentes cuadros, está sumando la señal y el ruido. Creo que la prueba es que la suma de dos variables aleatorias poissonianas independientes es una distribución poissoniana inmóvil.
Ruggero Turra
La cantidad de ruido será aproximadamente la misma para una exposición larga o corta, que para la exposición múltiple se integrará una y otra vez, lo que dará como resultado un resultado final pobre y ruidoso.
whatsisname
1
@wiso: el ruido relacionado con la temperatura es solo una fuente de ruido. El factor significativo de ruido para las cámaras digitales típicas es la lectura del sensor y la amplificación de la señal, que no dependen de la velocidad del obturador.
whatsisname
2

Cabe señalar que, dado que se hizo esta pregunta, esta idea se ha implementado de alguna manera en (al menos algunos) teléfonos inteligentes.

Como los límites tecnológicos no mejoraron tanto, por supuesto está restringido a exposiciones muy largas con muy poca luz (p. Ej., Astrofotografía). El hecho de que el software apila múltiples exposiciones de n segundos es visible si hay movimiento en el marco (Tendrán algunas pequeñas discontinuidades en la lectura).

El apilamiento incluso se puede ver en tiempo real en la pantalla, ya que la imagen del "resultado" parece cada vez más brillante.

Kevin FONTAINE
fuente
1

Hay cámaras que esencialmente funcionan de esa manera. Busque cámaras de alto rango dinámico (HDR). Los menos costosos trabajan entre corchetes de la exposición, esencialmente tomando dos o cuatro exposiciones diferentes, luego combinándolas en su software interno en una imagen unificada. Realmente puede hacer esto con cualquier cámara, utilizando un software externo .

Comprendo cómo funcionan las cámaras HDR de gama alta es que básicamente calculan dinámicamente un tiempo de exposición automática por separado para cada píxel individual, y lo usan para determinar el brillo real de la escena. Eso resuelve el problema de tener toneladas y toneladas de datos para cada píxel, básicamente solo almacena el tiempo de exposición y los valores de color cuando cruza un cierto umbral de brillo. Obviamente, esto requiere hardware y software mucho más complejos para funcionar correctamente.

Karl Bielefeldt
fuente
interesante, solo he encontrado esta cámara de vigilancia con doble exposición: video.boschsecurity.com/video/Introducing-the-new-HDR-camera/… , ¿conoces un modelo específico?
Ruggero Turra
HDR no es realmente lo mismo que pregunta el OP, porque HDR es selectivo en la forma en que combina la información, en lugar de una integración directa. Una cámara, como lo describe el OP, sería esencialmente un dispositivo que realiza una medición 2D del flujo radiante de la escena, una medición de la velocidad y una fotografía de la misma sería una integración de un conjunto de datos, una visualización de la cantidad.
whatsisname
0

Hay algunos tipos diferentes de persianas, pero las principales son persianas mecánicas y electrónicas (el sensor está encendido / apagado).

La mayoría de las DSLR usan el obturador del plano focal, mientras que las cámaras de video usan obturadores electrónicos. Entonces, aunque parezca lo que quieres hacer para integrarlos, hay otras formas de lograrlo.

La razón principal de un obturador es la exposición, un principio fundamental de la fotografía.

Probablemente podría configurar algo para su ejemplo. Es posible que desee ver los corchetes o, si eso no es suficiente, la inmovilización.

0.01 = 1/100 y es buena velocidad de obturación. La mayoría de las cámaras admiten velocidades de hasta 1/8000 segundos.

Solo en tu última parte:

Digamos que ahorra la cantidad de luz que llega cada 0.01 segundo durante 1 segundo.

Aún necesitaría pensar en la exposición para esa toma, cada 0.01 segundos.

BBking
fuente
Creo que esta respuesta pierde la idea detrás de la pregunta. Las capturas fraccionarias estarían subexpuestas, a menudo en gran medida. Elegiría el nivel de exposición deseado para una imagen final al decidir cuántos cuadros integrar.
mattdm
¿No es la "idea" detrás de la pregunta acerca de tener un obturador mecánico abierto durante 1 segundo, luego usar el obturador electrónico exponer 100 veces dentro de ese marco de tiempo? 1/100 no significa necesariamente subexposición, depende de la iluminación. Y sí, ¡ese es exactamente mi punto! Tendrías que pensar en cuadros por segundo. Y, en general, desea superponer imágenes expuestas de manera diferente, no lo mismo. Pregunta: ¿Por qué necesito un obturador? Respuesta: exposición.
BBking
También estoy agregando que el OP finalmente está hablando de velocidades de obturación y sugiere un resultado de 1/10 de segundo. Sin embargo, eso se puede hacer con un obturador electrónico que aún necesitaría una velocidad de obturación . Siento que el OP pregunta sobre el obturador real en lugar de simplemente las velocidades de obturación.
BBking
@BBKing: mis números fueron solo un ejemplo, probablemente deberías usar la mayor velocidad posible. Cada cuadro debe estar subexpuesto para poder obtener la exposición correcta sumando diferentes cuadros. Probablemente tengo que cambiar el título de mi pregunta de "¿por qué necesito la velocidad de obturación?" a "por qué necesito velocidad de obturación mecánica".
Ruggero Turra
Claro, sé que fueron solo ejemplos. El problema que tengo con la pregunta es que "¿Por qué necesito un obturador (mecánico)" y "¿Por qué necesito una velocidad de obturación? " (Independientemente de si es mecánico o electrónico) son preguntas muy diferentes. Si está proponiendo muestrear diferentes áreas del sensor en diferentes momentos, ¡es una idea interesante! Y creo que es factible (mientras que las otras respuestas argumentan por qué no lo es). ¿Como qué? Nadie lo ha desarrollado todavía, eso es todo. Quizás te interese una cámara Lytro . Puede elegir diferentes puntos de enfoque en Postprocesamiento.
BBking
-1

Aparte de los puntos que todos los demás hicieron, ¿qué va a pasar con la exposición?

Por ejemplo, con mi cámara convencional, una exposición de 1 segundo es lo que necesito para una toma determinada. Esencialmente, esto significa 1 segundo de luz registrada por el sensor de una vez.

Ok, vayamos a la sugerencia que hiciste, la cámara graba 0.001 segundos de luz 1000 veces. Todas estas imágenes están subexpuestas y, por lo tanto, son inútiles. Si los apilo, no obtengo la misma imagen que mi cámara convencional porque el apilamiento no soluciona la subexposición. Para obtener algo cerca de la exposición correcta, necesitaría una apertura muy amplia, que (incluso si pudiera encontrar una lente adecuada) tendría otros problemas: profundidad de campo, etc. Si quiere decir que el sensor sería lo suficientemente sensible como para capturar lo suficiente luz en 0.001 de segundo para que la imagen no esté subexpuesta, tendríamos un problema grave con el ruido. La idea que mencionas de incluir / excluir cuadros para obtener una exposición diferente ya se maneja en PP con el control deslizante de exposición.

Puede probar su idea tomando fotos con un obturador corto (como sugiere) y luego apilándolas en el software HDR o en el software startrail.

Las cosas de procesamiento posterior que menciona sobre tomar el suelo y el cielo con diferentes exposiciones para equilibrar la imagen ya se pueden rectificar en PP con controles de sombras / luces y / o tonos divididos.

Además, piense en la fotografía de acción como el automovilismo, donde necesito un obturador largo mientras se desplaza para dar una sensación de velocidad y movimiento. Si digo 200 imágenes con un tiempo de obturación muy pequeño, no captaré el desenfoque y el efecto de la toma no funcionará.

marca
fuente
1
"el apilamiento no soluciona la subexposición", ¿por qué no? La cantidad de luz que ingresa a la cámara en 1000 x 0.001s es la misma en 1 x 1s
Ruggero Turra
wiso: pruébalo. Digamos que tenemos una inyección que necesita una exposición de 5 segundos. Tome 5 exposiciones de 1 segundo, apílelas y vea lo que obtiene. Tendría que abrir la abertura (que podría ser imposible o no deseable).
Mark