¿Qué pasó con los sensores Foveon?

12

Parece que el sensor Foveon debería poder producir mejores imágenes, porque no depende de los píxeles rojos, verdes y azules separados que existen en la mayoría de las cámaras digitales. Sin embargo, las cámaras equipadas con sensores Foveon son prácticamente inexistentes. ¿Por qué?

(Nota al margen: esta pregunta se inspiró en la respuesta de Bayer Filter donde el filtro de Bayer podría causar problemas ...)

Billy ONeal
fuente
Algunas deficiencias técnicas de la generación anterior del sensor Sigma Foveon: pentaxforums.com/forums/pentax-news-rumors/…
Eruditass

Respuestas:

10

Lo que sucedió es que Sigma compró Foveon y ejerció mucha presión sobre ellos para producir un sensor que realmente sea capaz de competir con los sensores DSLR estándar. Ahora que Sigma está construyendo toda la cámara y el sensor, hay mucho más enfoque en producir un producto final convincente.

El año pasado, Sigma anunció el SD1 que utiliza un sensor APS-C (recorte de 1.5X) con 15 millones de fotosites. Según cuentan, Sigma lo llama un sensor de 46 megapíxeles. No han publicado muchos detalles a los miembros de la prensa (al menos yo), pero se espera que estén disponibles para este verano.

Todavía hay varias cámaras Sigma (DP1x, DP2s, SD15) en producción que usan el sensor Foveon 1.7X con 4.5 millones de fotositas (también conocido como 14 megapíxeles).

Itai
fuente
66
Cabe señalar que el uso de megapíxeles aquí no se puede utilizar en comparación directa con megapíxeles de sensores tipo bayer. Si bien puede haber 46 millones de elementos fotosensibles distintos en el sensor, la imagen producida es una imagen de 15 megapíxeles. Los beneficios de Foveon son un muaré de color más bajo y una mejor definición de color en cada píxel de la imagen.
jrista
55
Cabe señalar que los sensores de tipo bayer tampoco tienen una relación real entre las clasificaciones de MP que utilizan y la imagen de salida final, porque MP le proporciona un recuento de fotosites, tres de los cuales son necesarios para cualquier píxel de salida. Además, cualquier sensor bayer puede tener una intensidad diferente del filtro AA, lo que perjudica aún más la claridad de la imagen, mientras sigue produciendo el mismo recuento de píxeles en la salida. Los sensores Foveon no usan filtros AA.
Kendall Helmstetter Gelner
@Kendall: los sensores de Bayer serían descritos con mayor precisión como teniendo "intersecciones" de píxeles XYmp. Los sensores de Bayer y sus procesadores de imágenes producen imágenes al interpolar todos los fotosites de sensores vecinos en cada intersección para producir un píxel de imagen RGB. Eso significa que cuatro (no tres) fotosites bayer se interpolan para producir un solo píxel RGB. En un sensor bayer de 15mp, de hecho hay "intersecciones de píxeles RGB" de 15mp, debido a la forma en que se realiza la interpolación. Simplemente multiplique el ancho y la altura de los tamaños de imagen bayer para ver qué tan reales son las clasificaciones MP de bayer.
jrista
1
En cuanto a los filtros AA, depende del filtro si afecta la claridad de la imagen o no. El propósito del filtro (que creo que se describe mejor como filtro de paso bajo) es filtrar las frecuencias espaciales por debajo de la resolución espacial del sensor. Cuando un sensor intenta resolver frecuencias espaciales por debajo de su "límite de nyquist", los artefactos resultantes tienen un efecto perjudicial mucho mayor en la imagen que cualquier otra cosa. El filtro de paso bajo, cuando se diseña correctamente, solo filtrará las frecuencias que no pueden resolverse para comenzar ... por lo tanto, no "deterioran" más nada.
jrista
Algunas DSLR tienen filtros de paso bajo que son demasiado fuertes. Sin embargo, en el caso general (Canon y Nikon), parecen estar bien (lo que cabría esperar, después de más de una década de fabricación y uso de sensores bayer). La generación actual de sensores bayer CMOS parece resolverse o desaparecer adecuadamente -resolve todos pero los absolutos mejores lentes, por lo que ninguna queja sobre filtros de paso bajo sólo se aplican a los casos marginales (o en el caso de que el filtro está diseñado inadecuadamente y demasiado fuerte.)
jrista
7

Todo se reduce a esto: al menos para la mayoría de las personas, la resolución espacial (especialmente en la gama de colores verdes) es mucho más importante que la resolución del color, especialmente en los rojos y azules. La curva de respuesta de color que incluí en una respuesta anterior da al menos alguna noción de la razón de esto.

Esto es particularmente relevante cuando la gran mayoría de las imágenes almacenadas / mostradas electrónicamente están en formatos JPEG o MPEG. Estos formatos admiten el muestreo descendente de los canales de croma a la mitad de la resolución de todos modos, y (especialmente en el caso de MPEG) así es como se almacenan la mayoría de las imágenes. Como tal, la conversión de datos de un sensor Foveon a formato JPEG o MPEG generalmente arroja bastante información adicional que recopiló.

Aunque el beneficio no es necesariamente enorme, algunas cámaras con sensor Bayer (por ejemplo, la Leaf / Phase One de gama alta) admiten el cambio de sensor para tomar una serie de cuatro imágenes (de un sujeto fijo) con el sensor desplazado a diferentes posiciones , por lo que cada píxel en la imagen final tiene información a todo color (y aún tiene el doble de bits para el verde que para el rojo o el azul, por lo que todavía se ajusta razonablemente bien con la visión normal).

Jerry Coffin
fuente
Las primeras cámaras Sigma usaban configuraciones de compresión JPEG (submuestreo) que no mostraban su sensor con la mejor ventaja, pero lo arreglaron. Desearía poder recordar dónde había visto una demostración bastante gráfica del problema.
Mark Ransom
Tenga en cuenta que el enfoque de cambio de fase es realmente solo práctico para sujetos inmóviles. Hay mucho valor en reunir todos los datos a la vez.
Kendall Helmstetter Gelner
1
Realmente no creo que sea relevante comparar un cuerpo de formato medio en ninguno con un cuerpo de 35 mm, de todos modos se usarían de maneras completamente diferentes ... Solo quería señalar que si bien el desplazamiento del sensor es una forma de abordar potencialmente el Problema incluso para cámaras más pequeñas, que tiene inconvenientes reales.
Kendall Helmstetter Gelner
1
También es de destacar que confiar en gran medida en la teoría observada de que la resolución espacial verde es más importante que la resolución azul / roja, conduce a la generación de imágenes que parecen más nítidas pero menos precisas. Existe una compensación en cualquier tipo de compresión de datos, y descartar 2/3 de las longitudes de onda visibles para cualquier ubicación espacial dada en una imagen de salida es definitivamente una forma de compresión previa a la imagen, ni siquiera el uso de formatos RAW puede solución alterna.
Kendall Helmstetter Gelner
44
@Kendall: pero llamarlo "2/3" es un poco engañoso. Claramente, no estamos registrando todo el espectro electromagnético sin importar qué. Por lo tanto, centrarse en el porcentaje del espacio de color de la visión humana cubierto parece mucho más realista.
Lea mi perfil el
3

Los sensores Foveon son geniales en teoría, pero en la práctica no son una opción convincente. Generalmente tienen una resolución mucho más baja y solo pueden competir contando los 3 sensores en cada posición de píxel para que sean píxeles individuales.

Sigma todavía produce cámaras con sensores Foveon: http://blog.sigmaphoto.com/2011/faqs-the-sigma-camera-and-its-foveon-x3-direct-image-sensor/

Mark Ransom
fuente
+1 - ¿Esa pérdida de resolución afecta la calidad de la imagen? Claro, tienes menos píxeles, pero obtienes todos los 24 bits por píxel, en lugar de 8. (No, no trabajo para foveon, solo estoy tratando de entender;))
Billy ONeal
Cierto. Resulta que la mayoría de las personas vive mejor con la precisión del color que obtienen de nuestro sensor de ~ 14MPix interpolado por bayer, esos verdaderos colores de 24 bits de la DSLR Foveon que solo tiene una resolución de 5Mpix.
che
1
Ahora que lo pienso, su declaración sobre el conteo de píxeles parece un poco al revés. Una cámara bayer de 15 MP tiene exactamente un sitio de fotos (rojo, verde o azul) en cualquier ubicación, pero cuenta con un total de tres en cada ubicación (la combinación de rojo, verde, azul) para darle ese número de salida de 15MP . Parece que estás diciendo que Foveon te está engañando sin reconocer que Bayer está haciendo lo mismo desde el otro extremo, pretendiendo que tienen 15MP de datos cuando realmente tienen menos. ¿Cuánta resolución tiene una cámara bayer de 15MP cuando se pone un filtro rojo? 3.75MP de datos grabados.
Kendall Helmstetter Gelner
1
@Kendall: Técnicamente hablando, un sensor bayer de 15mp cuenta las INTERSECCIONES entre cuadrantes de píxeles, en términos de la imagen producida. Bayer no tiene menos de 15mp, simplemente interpreta la información en cada punto que representa un píxel de la imagen de cierta manera. En igualdad de condiciones, el ojo humano funciona más como una matriz bayer que un Foveon, y nuestra agudeza visual / percepción del color es excelente. Creo que pones demasiado peso negativo en el muestreo de bayer de lo que merece, y demasiada ventaja en el muestreo de foveon. Ambas tecnologías tienen sus pros y sus contras, los foveons son simplemente diferentes a los bayers.
jrista
1
@Kendall, aunque cada píxel de una matriz de Bayer tiene un filtro delante, siguen siendo píxeles individuales con sus propias características espaciales. La sofisticada interpolación permite que el canal rojo incorpore también información de los canales verde y azul.
Mark Ransom
3

Lo que le sucedió al sensor Foveon es que Sigma adoptó la tecnología desde el principio, pero otras compañías de cámaras se mostraron reacias a hacerlo.

Ese estado continúa hasta nuestros días. Sigma continúa desarrollando cámaras, ofreciendo actualmente una DSLR SD-15, y las cámaras compactas de sensor grande de distancia focal fija DP-1 y DP-2.

Sin embargo, recientemente, la tecnología Foveon parece haber estado en alza. Como se mencionó en otra publicación, Sigma parece estar cerca de lanzar un sensor Foveon mejorado en el SD-1 con un manejo de ruido aún mejor, y una resolución que supera prácticamente a cualquier DSLR de consumo actual (aunque no sistemas de formato medio). Se sabe que el nuevo sensor tiene aproximadamente 46MP, lo que traducido a la equivalencia de Bayer significa alrededor de 30MP de detalles aproximadamente iguales a una imagen de Bayer, es decir, si tomó la imagen de salida de 15 millones de píxeles de un RAW convertido de un SD-1 , y lo muestreó a 30MP, se vería idéntico a una imagen bayer de 30MP. Solo que también carecería de problemas con el patrón de color que podría tener un sensor Bayer, y tendría una mejor caída en detalle. Los sensores Foveon han mantenido tradicionalmente un amplio rango dinámico, y también un ruido muy bajo a ISOs más bajos,

Entonces, ¿qué ha cambiado para mejor que permita tales avances? Esto se debe en parte a que estamos viendo el resultado de un trabajo constante de I + D en Foveon, pero también porque Sigma compró Foveon y ahora los enfoca por completo en producir mejores sensores de cámaras grandes. Antes de que Foveon intentara ver qué segmento del mercado fotográfico podría ser un buen cliente para la tecnología y, como resultado, estaba mucho más disperso en los objetivos.

Los resultados de este enfoque no solo se ven en aumentos de resolución realmente significativos del sensor con respecto a las generaciones anteriores, sino también en que su tecnología fue seleccionada para ir a Marte por la ESA:

http://translate.google.com/translate?hl=da&sl=ko&tl=en&u=http%3A%2F%2Fwww.styledb.com%2Fbbs%2Fboard.php%3Fbo_table%3DB08_news%26wr_id%3D102

Perdón por la traducción aproximada, no puedo encontrar otra fuente para esa noticia.

Entonces, básicamente, lo que está sucediendo para la tecnología Foveon es que todavía está evolucionando, justo a lo que aparentemente fue un ritmo más lento que otras tecnologías de sensores, pero lo que puede terminar siendo un salto por delante de ellos. Necesitamos ver qué puede hacer el nuevo sensor para ver dónde se encuentra realmente el estado de la tecnología Foveon en estos días, por lo que realmente esta es una gran pregunta para revisar en tres meses.

Si realmente desea más información sobre cómo es una imagen de salida Foveon de 15 millones puede contener muchos más detalles que una imagen de salida bayer de 30 MP, lea este artículo comparando un sensor Foveon de 4.7MP con uno Bayer de 12MP (Canon 5D ):

http://www.ddisoftware.com/sd14-5d/

Tenga especialmente en cuenta la resolución de la tabla de colores y reflexione sobre esta interesante pregunta: una cámara bayer de 15MP tiene solo 3.75 millones de fotositas que detectan el rojo. Entonces, si coloca un filtro rojo tradicional como les gusta a los fotógrafos en blanco y negro, todos los demás sensores están apagados y ahora está disparando con una cámara de 3.75MP. Mientras tanto, un sensor Foveon de 46 megapíxeles con tres capas de 15 millones de fotosites que detectan rojo / verde / azul (aproximadamente) no le importa qué filtro coloque delante, cada píxel de salida contendrá datos de 15 millones de sensores rojos diferentes.

Puede parecer un caso arbitrario, pero ¿qué pasa con los cambios de tono en algo así como un automóvil rojo o un cielo azul?

Para aquellos que REALMENTE se preguntan a dónde se dirige Foveon a nivel técnico, lea la última patente de Foveon que cubre básicamente los fundamentos de lo que probablemente sea el sensor SD-1:

http://www.freepatentsonline.com/y2010/0155576.html

Una última cosa a tener en cuenta es que alguna forma de la tecnología Foveon, incluso si el diseño de Foveon no parece ser el futuro de la imagen, las patentes han comenzado a llegar de Sony y otras compañías que también están buscando formas de colocar sensores.

Kendall Helmstetter Gelner
fuente
Ver comentarios en mi respuesta. La patente vinculada cubre un esquema para vincular múltiples "sensores de píxeles" para que puedan leerse en grupos, reduciendo la necesidad de cableado. La necesidad de más cableado en un espacio más pequeño es un problema natural cuando apilas los sensores uno encima del otro, por lo que esta es una solución para eso. Desafortunadamente, no proporciona una descripción adicional de los fundamentos del sensor SD-1.
Lea mi perfil el
@Kendall: Creo que debe reconsiderar seriamente la declaración "una resolución que supera a casi cualquier DSLR de consumo hoy". La especificación de 46mp de la SD1 NO es la misma en términos de RESOLUCIÓN de imagen que muchas réflex digitales en el mercado hoy en día. La resolución se refiere a la resolución de detalles, y el uso engañoso de MP de Sigma en su sensor lleva a las personas a cometer el grave error que acaba de cometer. La SD1 resuelve 3200 líneas, mientras que la Canon 5D II resuelve 3744 y la Sony A900 resuelve 4032.
jrista
1
La resolución y la MP deben tratarse de manera distinta cuando se habla del SD-1, ya que Sigma cuenta las tres CAPAS de sensores en cada sitio de fotos para llegar al número 46mp. Su comentario de muestreo también es muy subjetivo y no se basa en todos los hechos. La imagen de 15mp producida por un sensor Foveon exhibirá muaré más bajo, particularmente muaré de color, pero ciertamente no ha RESUELTO mayor detalle. En pocas palabras, 3200 líneas de resolución son 3200 líneas de resolución, y 4032 líneas de resolución son 4032 líneas de resolución ... este último tiene más detalles. El muestreo ascendente nunca mejora la resolubilidad .
jrista
También se debe tener en cuenta que la percepción humana es más sensible al verde, menos sensible al rojo y menos sensible al azul. El hecho de que haya la mitad de píxeles de detección rojo / azul en un diseño bayer debe sopesarse con los simples hechos de la percepción humana. También debe tenerse en cuenta que las deficiencias de la interpolación bayer utilizada para crear imágenes solo es realmente un problema al fotografiar objetos de alta frecuencia espacial que exhiben muaré, y en cualquier otro momento, la imagen resultante es suficiente para la gran mayoría de las fotografías. .
jrista
2
Finalmente, también se debe tener en cuenta que con las cámaras Canon modernas, el uso de sRAW y mRAW puede producir imágenes de menor resolución que hacen uso completo de los cuatro píxeles bayer para cada píxel de imagen. No se produce interpolación cuando se usa sRAW / mRAW, sin embargo, la resolución de la imagen es menor (más cercana a los tamaños de imagen de Foveon). La interpolación de Bayer solo se usa cuando se utiliza RAW completo. Creo que este es un gran testimonio de la versatilidad de Bayer, y una buena indicación de por qué Canon aún no se ha mudado a Foveon.
jrista
3

Hay dos problemas que han sido problemáticos para los sensores Foveon además del problema de la resolución espacial. Ambos son inherentes al concepto clave de Foveon: usar la absorción espectral de diferentes profundidades de silicio para separar los colores.

Con una matriz Bayer, los diferentes filtros se crean con tintes cuidadosamente seleccionados para que coincidan con los primarios rojos, verdes y azules elegidos. Con Foveon, la distinción se basa completamente en la física del silicio, que no es una combinación tan buena como suelen mostrar los materiales de marketing. Esto da como resultado los dos problemas.

Primero, los tres colores primarios registrados por los sensores Foveon están más lejos de las longitudes de onda primarias a las que responden las células cónicas del ojo humano, y de hecho, la forma de la curva de longitud de onda a la que responde cada profundidad es muy diferente de la de nuestra visión. Eso significa que el espacio de color nativo del dispositivo tiene una forma diferente y cambiada de sRGB y otros espacios de color de salida típicos, o de la visión humana. El sensor registra "colores imaginarios", unos que realmente no podemos ver, en alguna parte de su gama de colores, y otras partes de la gama de colores no están cubiertas perfectamente. Esto no aparece como falta de colores, sino como una especie de daltonismo (la analogía allí es bastante buena, ya que efectivamente es el mismo problema),

En segundo lugar, la luz roja de baja frecuencia se absorbe en el nivel más profundo, lo que inevitablemente produce cierta atenuación, lo que significa más ruido en el canal rojo. Según tengo entendido, la reducción de ruido en las cámaras Sigma se ocupa de esto al desenfocar el canal rojo más fuertemente. Sé que mi cámara con sensor Bayer exhibe, por un amplio margen, más ruido en el canal azul . No estoy seguro si ese es un problema inherente con los sensores Bayer o CMOS, o si es un problema doble en Foveon. (Hice eso su propia pregunta ).

Nada de esto quiere decir que la tecnología generalizada de Bayer es perfecta, o incluso absolutamente mejor que Foveon. Es solo que todo tiene sus compromisos, y Foveon en realidad resulta tener algunos problemas. Los grandes problemas con Bayer (alias, resolución de color) se pueden resolver lanzando más píxeles al problema, dados los aumentos correspondientes en el manejo del ruido. Hasta ahora, esto ha funcionado con mucho éxito y, por supuesto, no es casualidad que corresponda bien al marketing basado en megapíxeles.

Actualización (mayo de 2011): Sigma acaba de anunciar el nuevo modelo "SD1", con un precio de alrededor de $ 9,700, comparable en costo a algo como la cámara de formato medio Pentax 645D, pero con un sensor de tamaño APS-C. Será interesante ver si, de hecho, han podido abordar algunos de estos problemas. Mi especulación es que probablemente sí, pero al tipo de costo que los llevó a cambiar el mercado objetivo. Pero incluso entonces, no estoy tan seguro: el ISO máximo sigue siendo 6400, que es dos paradas detrás de la cosecha actual de sensores Bayer. (Queda por ver, por supuesto, si simplemente decidieron un límite más conservador. Sin mirar mucho más fijamente la bola de cristal, no hay forma de saberlo; actualizaré esto de nuevo cuando estén las revisiones, y si yo '

Descargo de responsabilidad: no tengo una cámara con sensor Foveon (aunque he usado una, ¡y fue genial!). No sigo la tecnología muy de cerca. Sigma está investigando mucho para solucionar o resolver estos problemas.

Por favor lea mi perfil
fuente
Todo lo que dices parece estar abordado en el último diseño del sensor si nos fijamos en la patente. En el rodaje en el mundo real, he encontrado que los datos de color son más precisos, a veces mucho más precisos, en promedio que otras personas con las que tomé los mismos sujetos en un grupo. En cuanto a la resolución, bayer ha podido adelantarse con conteos de mayor resolución, pero con el sensor SD-1, los sensores bayer ya no tienen ninguna resolución.
Kendall Helmstetter Gelner
¿Puedes resumir las mejoras? ¿Son básicamente soluciones o es algo más inteligente que eso?
Lea mi perfil el
Si lees el enlace de patente que publiqué en mi respuesta, puede ser útil. Pero uno de ellos parece ser pares ligeramente diferentes (tal vez más que pares) de sensores azules por fotosite rojo / verde subyacente, que hace un mejor trabajo al separar las longitudes de onda y posiblemente mover el rango cubierto para que coincida mejor con el espectro visible. Además, el diseño supuestamente reduce considerablemente el ruido de lectura, y hemos leído en entrevistas de Sigma que el ISO "nativo" ahora es 200, donde solía ser 100.
Kendall Helmstetter Gelner
Hmmm Las patentes son paralizantes de leer, ya que son documentos legales, pero en un vistazo rápido, el que se vincula parece estar relacionado con un medio más eficiente de cablear el sensor para reducir el ruido de lectura, no los problemas que describo.
Lea mi perfil el
Los sensores azules adicionales cambian totalmente todo de lo que estaba hablando. Recuerde que hoy en día los sensores Foveon, como ya están, hacen un excelente trabajo al representar colores en el mundo real.
Kendall Helmstetter Gelner
1

Creo que la razón principal por la que "nadie" usa Foveon tiene poco que ver con Foveon y mucho que ver con Sigma. Si Canon o Sony hubieran comprado la tecnología en lugar de Sigma, ya sería corriente, la idea básica es buena. Sigma es un jugador de bits en este campo, demasiado pequeño para hacerlo solo, y las cámaras Sigma son algo del gusto adquirido.

Staale S
fuente
1
Bien entonces; ¿por qué Canon o Nikon no saltaron sobre eso entonces? Estoy seguro de que fue lanzado para ellos; deben haber tenido algún problema para rechazarlo ...
Billy ONeal
Esto es muy cierto, pero una parte de la pregunta central es por qué un fabricante de cámaras más grande no es y no ha intentado usar la tecnología Foveon en una cámara.
Kendall Helmstetter Gelner
Yo diría que la razón es una base de inversión. Otros fabricantes de sensores tienen una amplia base existente de diseño, infraestructura, fabricación y soporte para sensores tipo bayer. Puede costar cientos de millones, incluso miles de millones, invertir en el nuevo diseño y fabricación de CMOS. A pesar de la admirable dedicación de Kendall a Foveon, las diferencias entre las dos tecnologías no son tan grandes como a menudo se supone que son. Canon y Sony (como Nikon actualmente usa sensores Sony) tienen pocas razones para cambiar todavía.
jrista
0

El sensor está bien ... o al menos era hasta la versión de 45Mp Merrill. Con la versión posterior de Quattro, Sigma ha abandonado el enfoque "puro" de capturar tres colores en cada ubicación para un compromiso, con menos sensores en las capas inferiores.

Pero el sensor no es el problema. Cualquiera que lo use sabe que sobresale a ISO bajo, pero es inferior a los sensores de Bayer con resolución REAL comparable a ISO alto.

El verdadero problema es que las cámaras Sigma son frustrantemente lentas e incómodas de usar, especialmente debido a los tiempos de escritura absurdamente lentos. En los primeros días de las cámaras digitales asequibles, nos habría encantado la SD1, pero una vez que se haya acostumbrado a la velocidad de una buena réflex digital de Nikon o Canon, es difícil volver a esperar dos minutos por una explosión de 7 disparos para escribir en la tarjeta, y hasta que eso se complete, no podrá verificar sus exposiciones y no tendrá el uso completo de los controles de la cámara.

Además, los fabricantes de cámaras continúan sacando más y más rendimiento de la tecnología Bayer. Me recuerda al Porsche 911. El motor está en el lugar equivocado, pero con una ingeniería lo suficientemente inteligente, se puede hacer que el automóvil maneje, así como muchas máquinas delanteras o de motor central mejor equilibradas.

KTR
fuente