¿Cómo funciona la Super Resolución?

10

Al elegir esta pregunta , leí el artículo de Wikipedia, pero no puedo entender por qué apilar copias de la misma imagen una sobre otra debería mejorar la resolución de la imagen.

superresolution K '
fuente

Respuestas:

13

El proceso es complicado, pero esto debería dar una idea de lo que está sucediendo. Imagine que tiene una cámara normal, pero con motores para mover el sensor medio píxel en cualquier dirección.

En lugar de tomar una imagen, esta cámara toma cuatro: una centrada, una desplazada medio píxel hacia la derecha, una desplazada medio píxel hacia abajo, y una desplazada medio píxel hacia la derecha y medio píxel hacia abajo.

Luego podemos tomar la imagen centrada, duplicar el tamaño, espaciando los píxeles de esta manera:

xxxx               x x x x 
xxxx      ____\    
xxxx          /    x x x x 
xxxx               
                   x x x x

                   x x x x

Luego podemos rellenar los huecos, utilizando las otras imágenes desplazadas, 1, 2 y 3:

x1x1x1x1
23232323
x1x1x1x1
23232323
x1x1x1x1
23232323
x1x1x1x1
23232323

Dejándonos con una imagen del doble de la resolución. Curiosamente, hay cámaras que emplean esta técnica, como la Hasselblad H4D-200MS (lo siento si tiene que preguntar cuánto no puede pagar una).

La superresolución con una cámara estándar es un poco más compleja, ya que cuando no tiene control de movimiento de la cámara o del sujeto, no se acerca a un desplazamiento exacto de medio píxel, pero a menos que tenga mucha mala suerte, su imagen desplazada tendrá una cierta compensación del original. Al combinar suficientes imágenes, obtendrá una imagen muestreada de manera muy irregular (con muestras de píxeles que no caen en una cuadrícula) pero que se puede interpolar (trazando líneas entre muestras para adivinar un resultado que cae en una línea de cuadrícula exacta) Una imagen normal.

Matt Grum
fuente
1
Es importante recordar que el movimiento no tiene que suceder dentro de la cámara, se puede hacer moviendo la cámara. Es por eso que la súper resolución funciona muy bien con el video, ya que la cámara casi siempre tendrá pequeños movimientos entre cuadros.
Håkon K. Olafsen
Esta llovizna o tramado se usa ampliamente con la astrofotografía digital. Muchas imágenes individuales se apilan para ayudar a reducir el ruido inherente a la imagen, mientras que al mismo tiempo existe la oportunidad de recuperar detalles y resoluciones importantes.
smigol
y cómo apilar varias copias de la misma foto puede lograr eso? Estoy confundido porque después del apilamiento tendrás que alinear y esto cancelará el cambio entre píxeles, que parece ser la idea central detrás de la súper resolución
K ''
1
@AkramMellice: apilar lo mismo no hace esto. El software se puede utilizar para examinar y potencialmente "completar" la información basada en otra información en la imagen, pero sería menos que perfecto ... En cualquier caso, sería increíblemente increíble si Pentax agregara esta función, algo completamente posible dado que su anti-vibración está en el sensor y es una variación de cómo hacen la astrotraza con la unidad GPS.
John Cavan
3

Tenga en cuenta que el sensor no es un dispositivo de captura perfecto. Cada píxel se grabará con cierta cantidad de error. Por ejemplo, si el valor más preciso de un píxel es N, el sensor registrará un valor que está en un rango N-E to N+Epara un determinado E. Para que un buen sensor Esea ​​pequeño, un sensor malo tendrá uno más grande E.

También tenga en cuenta que en cada exposición un píxel dado tendrá un error diferente, las celdas en el sensor no tienen memoria, por lo que un píxel que salió bajo una vez puede salir alto en la siguiente.

Cuando toma varias exposiciones del mismo sujeto y las promedia juntas, está reduciendo efectivamente E. Para nuestro ejemplo de píxel anterior, promediarás un montón de valores diferentes que están alrededor de un desconocido N, por lo que el promedio te acercará a ese ideal N.

Miguel
fuente
3
No se trata solo de reducir el error; de hecho, en este caso no se está reduciendo PRINCIPALMENTE el error: se está obteniendo MÁS información al capturar nominalmente los mismos datos repetidamente y buscando información adicional que esté presente con una resolución más fina que el tono del sensor. Agregar un poco de oscilación mecánica al sensor entre disparos y luego realizarlos ayudaría a esto. // La DSLR Sony A77 y algunas otras Sony tienen un modo de agregación de bajo ruido de múltiples disparos que NO es solo un programa de promedio. Puede mover la cámara sustancialmente ya que toma 6 cuadros y aún así obtener una imagen mejorada.
Russell McMahon
1
Esto explica cómo funciona el apilamiento de imágenes para la reducción de ruido. Si bien el ruido excesivo puede evitar que resuelva los detalles, la superresolución es diferente ya que requiere al menos algo de movimiento de la cámara para aumentar la resolución.
Matt Grum
Como ya se ha señalado, lo que estás describiendo no es una súper resolución, sino un apilamiento de imágenes. Esto no aumenta la resolución, pero reduce el ruido.
Håkon K. Olafsen
Mientras que el título de la pregunta menciona la súper resolución, la pregunta en el cuerpo pregunta sobre "apilar copias de la misma imagen". Lo que expliqué es, de hecho, una de las muchas maneras de aumentar la resolución de sus imágenes, y se puede hacer con cualquier cámara.
Miguel
1

Lo siguiente es como entiendo las cosas. Las personas deben sentirse libres de señalar cualquier idea falsa para que todos estemos edificados, pero con suerte señalaremos cualquier cosa que vean y no solo murmuren en su cerveza. (o barbas o ...).

En pocas palabras y de manera simple, hay información ligeramente diferente en las diferentes fotos y se utilizan varios métodos para detectar y extraer esta información adicional y combinarla de manera consistente y aditiva.

Vale la pena señalar que no se garantiza que el sistema funcione en todos los casos.
La [página de Wikipedia Super-Resolution] señala:

  • En los algoritmos SR más comunes, la información obtenida en la imagen SR se incrustaba en las imágenes LR en forma de alias.

    Esto requiere que el sensor de captura en el sistema sea lo suficientemente débil como para que esté ocurriendo el alias. Un sistema limitado por difracción no contiene alias ni un sistema en el que la función de transferencia de modulación total del sistema está filtrando contenido de alta frecuencia.

El alias es la capacidad del sistema para presentar adecuadamente los datos de las frecuencias en cuestión. Ver "explicación" como final.

Si los entiendo correctamente (y puedo o no) su frase "es lo suficientemente débil" significa que hay información adicional que el sensor no puede resolver por sí mismo, que generalmente se considera malo, por lo que normalmente se suprime cuando sea posible, PERO que esto está "aliasado" el sistema SR necesita información adicional. La Nikon D800r no tiene un filtro óptico antialias en el sensor, mientras que la D800 estándar y casi todas las demás DSLR sí tienen dicho filtro.

MTF es efectivamente la capacidad de la lente para producir contraste O para producir "nitidez" (los dos están estrechamente relacionados entre sí. MTF es generalmente mejor cerca del centro de la lente y, con una imagen rectangular, se cae hacia los bordes y generalmente más en las esquinas de la imagen Dicen que la capacidad del sistema para producir una imagen de súper resolución depende de su capacidad de generar contraste y nitidez, es decir, de su calidad, es decir, la lente debe ser al menos tan buena como la lente que organizaría la súper rsolutionj iomage directamente si se mejoraron las capacidades del sensor y del proceso.

El alias es lo que sucede cuando un flujo de información se muestrea tan lentamente que parte de la información de alta frecuencia cambia más rápidamente que la frecuencia de muestreo y se "ajusta" y parece que realmente es un componente de frecuencia más baja. En un sistema limitante, la tasa de muestreo debe ser al menos el doble de la tasa de información más alta presente, pero en la práctica se requieren tasas algo más altas que esta.

Ejemplo simple:

  • Considere la secuencia 0 1 2 3 4 5 6 5 4 3 2 1 0 1 2 3 4 5 6 5 4 3 2 1 0 1 2 3 4 5 6 ...

    Claramente hay un patrón que se repite cada 12 unidades.
    Es un ave triangular que aumenta durante 6 ciclos y disminuye durante otros 6 ciclos y luego se repite, con un período = 12 unidades.

    Ahora muestree la secuencia solo cada 11 veces. Obtenemos
    0 1 2 3 4 5 6 5 4 3 2 1
    Este es exactamente el mismo patrón PERO cambia 11 veces más lentamente: una onda triangular con un período de 11 x 12 = 132 unidades.

    Muestree la misma secuencia cada 8a vez y obtendrá 0 4 4 0 4 4 0 4 4,
    es decir, parece una onda cuadrada de 1: 2 con un período = 24 unidades.

    Cualquier período de muestreo mayor de 6 unidades de tiempo = medio ciclo dará como resultado tales errores de alias.

Russell McMahon
fuente