¿Cómo colorearon viejas películas en blanco y negro?

Esta pregunta está en dsp.SE ya que estoy principalmente interesado en la parte de procesamiento de señal.

Hay una película india Mughal-e-Azam que se estrenó en 1960 en blanco y negro y que se reprodujo en color en 2004.

• ¿Cómo colorearon cada píxel perfectamente?
• ¿Qué técnica han usado para identificar la ubicación del color en cada píxel?

Mira una de las capturas de pantalla de la película:

Tengo una foto en blanco y negro de Einstein que quiero colorear. ¿Cómo es posible hacerlo sin saber qué llevaba puesto y cuál era el color real de su ropa, fondo, etc.

No hay forma de recuperar la información de color original de una foto en blanco y negro, por lo que si Einstein (resp. Waheeda Rehman) llevaba un suéter rosa o verde (resp. Dupatta) depende de su imaginación.

Históricamente, esto se ha hecho a mano , pintando sobre la película. Las primeras técnicas digitales para automatizar el proceso consistieron en "pintar" unos pocos puntos de color en cada cuadro, en el centro de cada región de color uniforme, y usar algo como una partición voronoi + algo de desenfoque para obtener un mapa de color para cada cuadro ( véase, por ejemplo, la patente estadounidense 4606625).

Hoy en día, esto se puede hacer de manera relativamente fácil (aunque manualmente) con el software de edición de video, usando máscaras vectoriales para indicar regiones de color uniforme en algunos fotogramas clave e interpolando entre ellas. Luego se aplica una transformación de color a cada máscara. Véalo en acción aquí .

Las técnicas estándar de segmentación de imágenes y seguimiento de regiones se pueden utilizar para automatizar la tarea de segmentación y el marcado de regiones en cada fotograma clave, por ejemplo, propagando anotaciones manuales a píxeles similares / adyacentes en el espacio / tiempo , o detectando regiones con textura uniforme . La similitud de textura y nivel de gris se puede usar para propagar señales de color de una imagen en color a una imagen en escala de grises que represente un tema similar ; en este caso, el proceso manual solo consiste en encontrar una imagen de color de plantilla; esta tarea posterior se puede automatizar a sí misma usando contenido. técnicas de recuperación de imágenes basadas .

Solo he leído sobre esto, y han pasado al menos 15 años desde que vi algo impreso, pero entiendo que hay una serie de algoritmos utilizados.

Primero, como se dijo, algunas películas han sido coloreadas teñiendo minuciosamente cada cuadro a mano. (Los primeros minutos de Gone with the Wind se hicieron de esta manera, después de que se tomó la decisión de filmar el resto en color).

Después de eso, se utilizan varias técnicas, todas basadas en el procesamiento de imágenes por computadora. El enfoque más simple es dividir la película en escenas individuales, cada una donde la cámara no cambia, y luego hacer que un algoritmo informático reconozca regiones de diferente intensidad. Alguien en un monitor de computadora observa los primeros fotogramas de la escena y establece el color de cada región, luego la computadora lleva ese color al resto de la escena, suponiendo que las regiones identificadas no se transformarán tan rápidamente que la conexión con su los colores asignados se perderán. Esta técnica generalmente se limita a colorear los actores principales y el fondo básico, ya que las escenas cambian tan rápidamente en la mayoría de las películas,

Las técnicas más sofisticadas utilizan algoritmos de reconocimiento de imágenes para reconocer (p. Ej.) A una persona, separar el fondo del primer plano, etc. Luego se pueden asignar colores de forma más global y se puede lograr cierto grado de sombreado a medida que los actores se mueven de la sombra a la luz, etc. Y, dado que este esquema puede funcionar más allá de una sola escena, se puede hacer más esfuerzo para que un humano establezca inicialmente los colores, de modo que se pueda usar una paleta más variada y vívida.

Supongo (aunque nunca he leído) que ahora se puede usar una técnica similar a la animación por computadora, basada en técnicas utilizadas para animar películas de acción. Se podría usar una especie de captura de movimiento en la película original, y luego se produciría una animación por computadora de la acción. Con una "mezcla" cuidadosa, los detalles de la película original podrían conservarse mientras se usan los colores generados por la animación.

BBC descubrió el camino decodificando puntos de color para restaurar una película anteriormente en color en la que solo está disponible la copia en blanco y negro. Pueden restaurar el color al color original.

Fuente: http://www.youtube.com/watch?v=CjK-b4x9ZmQ