¿Cómo puedo encontrar videos duplicados de un gran conjunto de videos de diferentes formatos?

7

Después de perder un dispositivo de respaldo con un montón de mis videos originales, tuve que descargar una gran cantidad de ellos (~ 300) desde Youtube. Las nuevas descargas son una mezcla de MP4 y FLV, y los originales son una mezcla de casi cualquier formato de video debido a muchos experimentos.

Para empeorar las cosas, no hay un límite claro para cuando mis copias locales desaparecieron; Encontré un punto en mis videos de youtube donde tengo algunos de los videos y no tengo otros. He estado tratando de eliminar manualmente los videos donde ya tengo una copia, pero con tantos videos estoy seguro de que me he perdido algunos.

¿Cómo puedo pasar de manera efectiva por varios cientos de videos de diferentes formatos y eliminar duplicados? Los nombres serán similares pero no idénticos. Los formatos pueden ser diferentes y el tamaño del archivo puede ser diferente debido a eso (y / o diferencias de codificación). La longitud del archivo debe ser la misma, y ​​visualmente los videos deben ser lo suficientemente similares, pero no estoy seguro de que haya alguna herramienta para resolverlo visualmente.

¿Estoy condenado a revisar la lista en función del tiempo de ejecución y buscar duplicados manualmente o hay una mejor manera?

video Ben Brocka
fuente
1
Pregunta muy interesante!
Dr Mayhem

Respuestas:

11

Recomendaría un enfoque híbrido con computadoras y personas.

  1. Cubra los videos por su duración (redondee al segundo más cercano)
  2. Para cada segmento, use ffmpeg para generar miniaturas en un punto predecible y uniforme en los videos (por ejemplo, un marco de 10 segundos en el video)
  3. Mire las miniaturas generadas en una cuadrícula (la mayoría de los sistemas operativos proporcionan una buena vista en miniatura) y busque duplicados para eliminar.

No debería tener que hacer ninguna programación para realizar estos pasos, aunque crear las miniaturas en la línea de comando con ffmpeg puede requerir algo de delicadeza. ¡Buena suerte!

jimbo
fuente
¡Las miniaturas son una gran idea! Los nuevos videos llegaron como FLV, que no puedo ver en miniatura sin importar lo que intente. Esto podría funcionar bastante bien
Ben Brocka
ffmpeg debería poder convertir los archivos flv en otra cosa (avi, mp4, etc.).
jimbo
Sí, eventualmente los convertiré a MP4, pero quiero asegurarme de que pierdo la menor calidad posible cuando lo haga, así que lo pospuse hasta que pueda tomarme el tiempo
Ben Brocka
Si quisiera, podría encontrar un programa que analizaría las miniaturas para encontrar duplicados. Sin embargo, el tiempo dedicado a encontrar dicho programa y luego configurarlo no valdría la pena para un proyecto pequeño.
Cole Johnson
@BenBrocka Otra solución es hacer una cadena hash única (por ejemplo, un carácter de 8 dígitos) a partir de su archivo en el tiempo de carga y almacenarla en su base de datos, y agregar una condición en la cadena única almacenada para verificar videos duplicados en el tiempo de carga.
parsa
4

Yo diría que el software de reconocimiento de video es un nicho de mercado, lo que significa que encontrará software muy costoso y / o software dirigido al gobierno , la industria cinematográfica, etc.

Funciona mediante la "huella digital" de video para que pueda reconocer el video a pesar de los diferentes formatos, compresiones, recortes, etc. Esta capacidad no es tan común en el mundo no forense (al menos no todavía).

Intenté encontrar algo que esté dirigido a los consumidores, pero no pude encontrar ninguno. Existen API (interfaces de programación) que proporcionan tecnología para hacer esto, e incluso gratis, pero necesitará desarrollar el software para usarlo usted mismo, que estoy bastante seguro de que está más allá del alcance de lo que está pidiendo.

En conclusión, a menos que desee gastar una cantidad notable de dinero en software especializado, deberá revisar la pila manualmente. Sin embargo, en mi enlace anterior encontrará una versión de prueba de dicho software para que pueda ver si eso es lo que está buscando y si funciona para su propósito.

Comunidad
fuente
El enlace está muerto.
Hermann Ingjaldsson
1

Puedes probar Video Comparer (shareware).

http://www.video-comparer.com

Detecta rápidamente videos similares con transformaciones de imágenes y admite videos divididos en múltiples CD.

Rigop
fuente
Este software no detectó videos similares (misma escena / persona tomada con unos minutos de diferencia).
Clay Nichols
1

Tuve el mismo problema recientemente y encontré el programa que me ayudó. No compara nombres de archivos ni calcula hashes. Compara contenido de video real. No es gratuito, pero si no tiene muchos duplicados, la versión de prueba es suficiente. El enlace al programa es http://duplicatevideosearch.com

Max Smirnoff
fuente