¿Por qué todavía se necesita un filtro antisolapamiento físico en las DSLR modernas?

13

Entiendo que el propósito del filtro anti-aliasing (AA) es evitar el muaré. Cuando aparecieron las cámaras digitales por primera vez, fue necesario un filtro AA para crear el desenfoque suficiente para evitar patrones de muaré. En ese momento el poder de los procesadores en cámara era muy limitado. Pero, ¿por qué todavía es necesario colocar un filtro AA sobre el sensor en las cámaras DSLR modernas? ¿No podría lograrse esto con la misma facilidad con los algoritmos aplicados cuando la salida del sensor está siendo demostrada?Parece que la potencia de procesamiento actual disponible en la cámara permitiría esto ahora mucho más que incluso hace unos años. El procesador Digic 5+ actual de Canon tiene más de 100 veces la potencia de procesamiento del procesador Digic III, que eclipsa la potencia de las primeras cámaras digitales. Especialmente cuando se graban archivos RAW, ¿no se pudo realizar el desenfoque AA en la etapa de procesamiento posterior? ¿Es esta la premisa básica de la Nikon D800E, a pesar de que utiliza un segundo filtro para contrarrestar el primero?

Michael C
fuente
No lo es. Ya hay DSLR sin filtro anti-alias, incluidas las Pentax K-5 II, Nikon D800E, más modelos sin espejo como Olympus PEN E-PM2 y todos los Fujis (X-E1, X-Pro1). Además, incluso anunciaron cámaras con lentes fijas sin filtro AA (X20 y X100S).
Itai
1
Y todas esas cámaras muestran muaré de color a veces.
Kendall Helmstetter Gelner
3
De hecho, pero también lo harán otras cámaras. Sospecho que un filtro anti-alias que evita todo el muaré sería demasiado fuerte, por lo que los fabricantes usan filtros AA de menor resistencia. Como ejemplo, en mi comparación de K-5 II y K-5 II , el muaré ocurre en ambas cámaras, solo que mucho más con los K-5 II.
Itai
1
IIRC, la nueva Nikon D7100 tampoco tiene una.
James Snell
1
Y ahora, el Pentax K-3 no tiene filtro, pero tiene un modo para hacer vibrar el sensor muy, muy ligeramente durante la exposición para simular uno. Mucha innovación interesante en esta área.
Lea el perfil el

Respuestas:

12

El alias es el resultado de patrones repetitivos de aproximadamente la misma frecuencia que interfieren entre sí de manera indeseable. En el caso de la fotografía, las frecuencias más altas de la imagen proyectada por la lente en el sensor crean un patrón de interferencia (muaré en este caso) con la cuadrícula de píxeles. Esta interferencia solo ocurre cuando esas frecuencias son más o menos iguales, o cuando la frecuencia de muestreo del sensor coincide con la frecuencia de onda de la imagen. Ese es el límite de Nyquist. Tenga en cuenta ... que es un problema análogo ... el muaré ocurre debido a la interferencia que ocurre en tiempo real en el mundo real antes de que la imagen esté realmente expuesta.

Una vez que se expone la imagen, ese patrón de interferencia se "cuece" efectivamente. Puede usar el software hasta cierto punto para limpiar los patrones de moiré en la publicación, pero es mínimamente efectivo en comparación con un filtro de paso bajo (AA) físico frente al sensor. La pérdida de detalles debido al moiré también puede ser mayor que la pérdida de un filtro AA, ya que el moiré es efectivamente información sin sentido, donde los detalles ligeramente borrosos aún podrían ser útiles.

Un filtro AA está diseñado para desenfocar esas frecuencias en Nyquist para que no creen ningún patrón de interferencia. La razón por la que todavía necesitamos filtros AA es porque los sensores de imagen y las lentes todavía son capaces de resolverse a la misma frecuencia. Cuando los sensores mejoran hasta el punto en que la frecuencia de muestreo del sensor mismo es consistentemente más alta que incluso las mejores lentes en su apertura óptima, entonces la necesidad de un filtro AA disminuirá. La lente misma manejaría efectivamente el desenfoque necesario para nosotros, y los patrones de interferencia nunca emergerían en primer lugar.

jrista
fuente
Aquí hay parte de un comentario publicado en photo.stackexchange.com/questions/10755/… . ¿Todavía crees que es correcto? Si es así, ¿cómo se hornea el patrón hasta que los datos RAW hayan sido demostrados? "Irónicamente, al menos con RAW, el límite teórico de nyquist no siempre parece ser un límite estricto, lo que probablemente se deba a las diferentes longitudes de onda de la luz roja, verde y azul y la distribución de píxeles RGB en un sensor. - jrista ♦ 10 de abril de 11 a las 18:50 "
Michael C
1
Creo que estaba hablando de resolución en general allí, y no directamente de alias en la señal digital grabada. El límite de nyquist es algo difícil de fijar en un sensor bayer debido al patrón desigual de las filas RGRG y GBGB. La resolución espacial del verde es más alta que la resolución espacial del rojo o el azul, por lo que el límite de nyquist en luz roja o azul tiene una frecuencia menor que el límite de nyquist en luz verde. El límite de nyquist en una imagen demostrada es difícil de llamar exactamente, por lo que se convierte en una especie de banda difusa, en lugar de un límite matemático concreto.
jrista
1
... ese patrón se convierte en parte de la imagen. Incluso si supiera las características exactas de wavelet de la imagen virtual, y pudiera producir una serie de Fourier de entonces, tendría que cambiar la orientación de la imagen en relación con el concepto virtual del sensor para eliminar el muaré "perfectamente". Es mucho trabajo excesivamente intenso y altamente matemático ... suponiendo que conozca la naturaleza EXACTA de la señal de imagen virtual original y su relación con el sensor. Una vez que el alias se cuece en un RAW, se hace más o menos, realmente no se puede deshacer sin suavizar los detalles.
jrista
1
Sé todo sobre la diferencia de frecuencia entre rojo / azul y verde. Como para todos los filtros AA ópticos actuales que solo se filtran en nyquist, realmente depende de la cámara. No todos los filtros AA están diseñados exactamente de la misma manera, e incluso para la misma marca, diferentes modelos y diferentes líneas a menudo tienen filtros AA que se comportan de manera diferente. Sé que históricamente las líneas 1D y 5D han permitido que ALGUNAS frecuencias estén por encima de nyquist, sin embargo, creo que es una cuestión de equilibrio con la resolución de la lente.
jrista
1
En sensores con píxeles más pequeños, como el Canon 18mp APS-C, el D800, el D3200, los píxeles se están volviendo muy, muy pequeños. Fuera de un segmento pequeño, si los lentes realmente nuevos (como la generación de la serie L Mark II de Canon, y luego, solo los lanzados en los últimos dos o tres años) pueden resolver suficientes detalles para resolver significativamente el sensor y causar alias en frecuencias más altas que nyquist Filtre alrededor de nyquist, y la lente misma desenfocará los detalles más allá de eso. Creo que eso es parte de la razón por la cual la línea 5D ha tenido un filtro AA demasiado fuerte ... las lentes lo resuelven más fácilmente.
jrista
11

La física simplemente no funciona de esa manera. El alias transforma irreversiblemente las frecuencias más allá del límite de Nyquist para aparecer como frecuencias por debajo del límite, aunque esos "alias" no están realmente allí. Ninguna cantidad de procesamiento de una señal con alias puede recuperar la señal original en el caso general. Las explicaciones matemáticas sofisticadas son bastante largas para entrar a menos que haya tenido una clase en teoría de muestreo y procesamiento de señal digital. Sin embargo, si lo hubiera hecho, no estaría haciendo la pregunta. Desafortunadamente, la mejor respuesta es simplemente "No es así como funciona la física. Lo siento, pero vas a tener que confiar en mí en esto". .

Para tratar de dar una idea aproximada de que lo anterior puede ser cierto, considere el caso de una imagen de una pared de ladrillos. Sin un filtro AA, habrá patrones de muaré (que en realidad son los alias) que harán que las líneas de ladrillo se vean onduladas. Nunca has visto el edificio real, solo la imagen con las líneas onduladas.

¿Cómo sabes que los ladrillos reales no se colocaron en un patrón ondulado? Usted asume que no eran de su conocimiento general de los ladrillos y la experiencia humana de ver las paredes de ladrillo. Sin embargo, ¿alguien podría simplemente hacer un punto para hacer deliberadamente una pared de ladrillos para que se vea en la vida real (cuando se ve con sus propios ojos) como la imagen? Sí que podrían. Por lo tanto, ¿es posible distinguir matemáticamente una imagen con alias de una pared de ladrillo normal y una imagen fiel de una pared de ladrillo deliberadamente ondulada? No, no es. De hecho, tampoco puedes notar la diferencia, excepto que tu intuición sobre lo que probablemente representa una imagen puede darte la impresión de que puedes. Nuevamente, estrictamente hablando, no se puede saber si las ondas son artefactos de patrón muaré o si son reales.

El software no puede eliminar mágicamente las ondas porque no sabe qué es real y qué no. Matemáticamente se puede demostrar que no puede saber, al menos solo mirando la imagen ondulada.

Una pared de ladrillos puede ser un caso obvio en el que se puede saber que la imagen con alias está mal, pero hay muchos casos más sutiles en los que realmente no se sabe, y es posible que ni siquiera se dé cuenta de que se está produciendo un alias.

Agregado en respuesta a los comentarios:

La diferencia entre suavizar una señal de audio y una imagen es solo que la primera es 1D y la segunda 2D. La teoría y cualquier matemática para realizar efectos sigue siendo la misma, solo que se aplica en 2D cuando se trata de imágenes. Si las muestras están en una cuadrícula rectangular regular, como si estuvieran en una cámara digital, entonces surgen otros problemas interesantes. Por ejemplo, la frecuencia de la muestra es sqrt (2) más baja (aproximadamente 1.4x más baja) a lo largo de las direcciones diagonales, según las direcciones alineadas con el eje. Sin embargo, la teoría de muestreo, la tasa de Nyquist y los alias realmente no son diferentes en una señal 2D que en una señal 1D. La principal diferencia parece ser que esto puede ser más difícil para aquellos que no están acostumbrados a pensar en el espacio de frecuencias para comprender y proyectar lo que significa en términos de lo que ves en una imagen.

Una vez más, no, no puede "demostrar" una señal después del hecho, al menos no en el caso general en el que no sabe cuál se supone que es el original. Los patrones de muaré causados ​​por el muestreo de una imagen continua son alias. La misma matemática se aplica a ellos tal como se aplica a las frecuencias altas alias en una secuencia de audio y sonando como silbidos de fondo. Es lo mismo, con la misma teoría para explicarlo y la misma solución para tratarlo.

Esa solución es eliminar las frecuencias por encima del límite de Nyquist antes del muestreo. En audio, eso se puede hacer con un filtro de paso bajo simple que posiblemente podría hacer desde una resistencia y un condensador. En el muestreo de imágenes, aún necesita un filtro de paso bajo, en este caso, toma algo de la luz que golpearía solo un píxel y lo extiende a los píxeles vecinos. Visualmente, esto parece un ligero desenfoque de la imagen antesEs muestreado. El contenido de alta frecuencia se ve como detalles finos o bordes afilados en una imagen. Por el contrario, los bordes afilados y los detalles finos contienen altas frecuencias. Son exactamente estas altas frecuencias las que se convierten en alias en la imagen muestreada. Algunos alias son lo que llamamos patrones muaré cuando el original tenía algún contenido regular. Algunos alias dan el efecto "escalón" a las líneas o bordes, especialmente cuando son casi verticales u horizontales. Hay otros efectos visuales causados ​​por alias.

El hecho de que el eje independiente en las señales de audio sea el tiempo y los ejes independientes (dos de ellos, ya que la señal es 2D) de una imagen son distancia, no invalida las matemáticas ni de alguna manera lo hace diferente entre las señales de audio y las imágenes. Probablemente debido a que la teoría y las aplicaciones de aliasing y anti-aliasing se desarrollaron en señales 1D que eran voltajes basados ​​en el tiempo, el término "dominio del tiempo" se usa para contrastar al "dominio de la frecuencia". En una imagen, la representación espacial sin frecuencia es técnicamente el "dominio de la distancia", pero, por simplicidad en el procesamiento de la señal, a menudo se denomina "dominio del tiempo". No dejes que eso te distraiga de lo que realmente es el alias. Y no, no es evidencia de que la teoría no se aplique a las imágenes, solo que a veces se usa una elección engañosa de palabras para describir cosas debido a razones históricas. De hecho, el método abreviado de "dominio del tiempo" que se aplica al dominio de imágenes sin frecuencia es en realidadporque la teoría es la misma entre imágenes y señales basadas en el tiempo real. Alias ​​es alias independientemente de cuál sea el eje (o ejes) independiente.

A menos que esté dispuesto a profundizar en esto en el nivel de un par de cursos universitarios sobre teoría de muestreo y procesamiento de señales, al final tendrá que confiar en los que sí lo han hecho. Algunas de estas cosas no son intuitivas sin una base teórica significativa.

Olin Lathrop
fuente
Toda mi experiencia en muestreo y procesamiento de señales digitales ha sido con respecto al audio digital. Entiendo cómo actúa un filtro de paso bajo para limitar los sonidos por encima de cierta frecuencia de entrar en la conversión AD. Si está muestreando a 44,100hz, aplica un filtro que comienza a funcionar a aproximadamente 20Khz y cualquier respuesta de 22Khz ya no está. Pero con las imágenes digitales no es tan simple, porque incluso con los filtros AA se consigue cierto alias. He leído en otra parte que los filtros no intentan bloquear todo por encima de Nyquist porque eso reduciría demasiado la resolución.
Michael C
1
Tendría que estar de acuerdo en que el problema que trata un filtro de paso bajo en una cámara no es el mismo que el que trata un filtro de paso bajo en el procesamiento de audio. Supongo que la mejor manera de decirlo es que un filtro de paso bajo de audio funciona directamente con una señal electrónica, mientras que un filtro de paso bajo óptico funciona en las frecuencias espaciales de una señal de imagen producida por una lente. La señal electrónica con la que está acostumbrado a trabajar es de una naturaleza diferente que una señal de imagen.
jrista
1
@Michael: Vea además de mi respuesta.
Olin Lathrop
1
"Los patrones de muaré causados ​​por el muestreo de una imagen continua son alias". Olin ¡Creo que ese es el punto clave allí mismo! Cuando realmente toma la exposición, no está grabando una versión pura de la imagen virtual original ... está grabando alias de puntos de datos dentro de esa imagen virtual original. Esa información en su computadora contiene alias. Muy bonita, concisa y clara forma de decirlo. :)
jrista
1
@Michael: Lo que usted dice acerca de cómo se interpolan los píxeles a todo color de los valores sin procesar del sensor es correcto, pero no tiene relación con la discusión de alias. En última instancia, la imagen continua real todavía se está muestreando en puntos discretos, por lo que se requiere un filtro anti-aumento antes del muestreo para evitar alias. En cuanto a tu comentario sobre álgebra, no tiene absolutamente ningún sentido. Por supuesto, el álgebra se aplica a polinomios de orden superior y ecuaciones 2D, solo que se vuelve más complejo debido a que hay más variables independientes.
Olin Lathrop
6

No se puede obtener el mismo efecto en el software. Puede llegar a algún lugar cercano, dados ciertos supuestos. Pero el filtro AA difunde la luz para que golpee múltiples píxeles de diferentes colores y le brinde información ausente del sensor de filtro sin AA.

La Nikon D800E no hace nada para intentar replicar el filtro AA. Si hay patrones de alta frecuencia en la imagen, obtienes muaré y ese es tu problema: ¡tienes que lidiar con eso!

El alias es peor cuando la frecuencia de detalle en la imagen está muy cerca de la frecuencia de muestreo. Para las cámaras antiguas con sensores de baja resolución (y, por lo tanto, muestreo de baja frecuencia), el muaré era un problema serio con muchos tipos de detalles de imagen, por lo que los filtros AA eran fuertes (nada que ver con una potencia de procesamiento limitada). Ahora tenemos frecuencias de muestreo mucho más altas, se necesitan detalles de imagen de frecuencia mucho más altos para que aparezca el muaré.

Eventualmente, las frecuencias de muestreo serán tan altas que los detalles necesarios de los objetos de alta frecuencia no superarán las aberraciones de la lente y los efectos de difracción, haciendo que el filtro AA sea redundante. Esta es en parte la razón por la que algunos respaldos de MF carecen de un filtro AA, resolución súper alta más fotógrafos de moda a los que les gusta disparar a f / 32 con paquetes de potencia Profoto gigantes que prueban la iluminación.

Matt Grum
fuente
Me parece que la interpolación realizada en el proceso de demostración podría modificarse para lograr exactamente lo mismo, ya que el promedio de píxeles adyacentes es lo que se hace allí. La Nikon D800E tiene dos componentes de filtro AA al igual que otras cámaras, pero en lugar de una luz polarizadora horizontal y la otra polarizada verticalmente, la segunda está a 180 grados de la primera y toma los rayos polarizados de la primera y los combina de nuevo en una corriente. Ver photo.stackexchange.com/questions/22720/…
Michael C
2
@MichaelClark No, no puede obtener el mismo efecto en el proceso de demostración. Un solo punto de luz que golpea el sensor D800E solo producirá carga en un sitio fotográfico. No hay forma de saber de qué color era esa luz mirando los píxeles vecinos, la información se ha perdido para siempre. El mismo punto de luz que golpea el sensor D800 (con filtro AA) golpeará fuertemente un píxel y los píxeles circundantes en menor medida. Como los píxeles vecinos tienen diferentes filtros de color al observar sus intensidades, es posible que un algoritmo de demostración estimará el color de la luz.
Matt Grum
1
@MichaelClark La única razón por la que el D800E tiene esta disposición es para simplificar el proceso de fabricación, es mucho más fácil cambiar la orientación de uno de los filtros en la etapa de entrada que cambiar dos filtros por un elemento de vidrio transparente, en última instancia, el filtro la pila tiene que tener la misma altura ya que tiene un efecto refractivo y los diseños modernos de lentes tienen esto en cuenta. Simplemente no poner ninguno de los filtros en el D800E introduciría una sutil aberración en las imágenes.
Matt Grum
Pero al mismo tiempo que un único punto de luz golpea un sitio del sensor, los puntos de luz correspondientes golpean todos los sitios adyacentes del sensor y el filtro AA hace que todos derramen luz sobre el otro. ¿No utilizan la mayoría de los algoritmos de demostración la interpolación para comparar los niveles de luminosidad no solo de los pozos de píxeles inmediatos sino también de otros pozos de píxeles cercanos con la misma sensibilidad de color? Efectivamente, ¿no es difuminar los píxeles adyacentes entre sí matemáticamente lo que está haciendo?
Michael C
1
@MichaelClark el alias no es borroso. Afecta a los píxeles muy lejos el uno del otro. Por ejemplo, obtendrá un latido cada 50 píxeles, desvaneciéndose hacia adentro / hacia afuera sobre 10. ¿Fue esa franja real o causada por franjas más pequeñas que los píxeles? No puedes saberlo.
JDługosz
2

Estas son todas buenas respuestas y buena información. Tengo una explicación muy simplificada. Pasemos de 2D a 1D (se aplica el mismo concepto).

Cuando una frecuencia llega a su sensor que es más alta que la "frecuencia máxima permitida", en realidad creará una frecuencia de espejo en el lado inferior . Una vez que su imagen ha sido muestreada, verá esta señal más baja, pero la cámara o su computadora no saben si se trataba de una señal más baja real que realmente estaba allí o si era un alias creado a partir de una señal que era demasiado alta. Esta información se pierde. Esa es la razón de la "frecuencia máxima permitida" o frecuencia de nyquist. Dice que esta es la frecuencia más alta que se puede muestrear y por encima se perderá información.

un análogo al audio: supongamos que tiene su sistema configurado donde desea un rango de frecuencia de 0Hz a 1000Hz. para dejar un poco de espacio extra que muestreas a 3000 hz, lo que hace que tu niquist sea de 1500 hz. aquí es donde entra el filtro aa. No desea que ingrese nada por encima de 1500 hz, en realidad su corte comenzará justo después de 1000 hz, pero se asegura de que para cuando llegue a 1500 hz no quede nada.

supongamos que olvida el filtro aa y permite que entre un tono de 2500 hz en su sensor. se reflejará alrededor de la frecuencia de muestreo (3000 hz) para que su sensor capte un tono a 500 hz (3000 hz - 2500 hz). ahora que su señal está muestreada, no sabrá si los 500Hz realmente estaban allí o si es un alias.

por cierto. las imágenes especulares se producen para todas las frecuencias, pero no son un problema siempre y cuando no esté por encima de la nyquist porque puede filtrarlas fácilmente más tarde. El tono de entrada de ejemplo es 300 hz. tendrá alias en (3000 - 300 = 2700hz [y para ser correctos también 3000 + 300 = 3300hz]). sin embargo, como sabe que solo está considerando hasta 1000 hz, estos se eliminarán fácilmente. De nuevo, el problema surge cuando las imágenes especulares entran en el espectro que realmente deseas, porque no podrás notar la diferencia y eso es lo que quieren decir con "horneado".

espero que esto ayude

pgibbons
fuente
1
Excepto que el "aliasing" en el contexto de la fotografía es 'espacial' basado en patrones repetitivos en la imagen proyectada en el sensor, no en frecuencias particulares de luz que golpean bien un solo píxel. Los filtros ópticos de paso bajo en la mayoría de los sensores de la cámara no filtran "todas" las frecuencias por encima del límite de Nyquist, solo filtran "la mayoría" de los patrones repetidos en el límite de Nyquist y los múltiplos relacionados.
Michael C
Agradezco tu comentario. Tampoco me refería a las frecuencias de luz, sino a la tasa de cambio de intensidad de un píxel al siguiente. Estaba ignorando los colores. Supongo que lo estaba mirando como 3 imágenes individuales en blanco y negro. Más tarde, cada uno obtiene un color y, superpuestos, forman todos los colores. Todavía es difícil para mí comprender las frecuencias en imágenes. Supongo que cuando tienes un píxel blanco justo al lado de un píxel negro, representa altas frecuencias debido a la rápida tasa de cambio y un píxel gris claro al lado de un píxel gris oscuro es una frecuencia más baja.
pgibbons
Esa no es exactamente la forma en que funciona el demosaicing de un sensor enmascarado de Bayer, y es una de las razones por las que originalmente hice la pregunta.
Michael C
Las frecuencias más altas en este contexto son patrones repetitivos con menos distancia en el sensor entre cada repetición. Las frecuencias más bajas son patrones repetitivos con más distancia entre cada repetición. Si el paso de píxeles de un sensor es de 6 µm, los patrones que se repiten cada 3 µm estarían en la frecuencia de Nyquist. Los patrones que se repiten cada 4 µm estarían por debajo del NF, y los patrones que se repiten cada 2 µm estarían por encima de él.
Michael C