¿Cómo detecto archivos duplicados dentro y a través de torrents?

1

Si estoy descargando un montón de torrents, ¿hay alguna forma o un cliente que detecte los archivos ya descargados y deje de descargarlos?

Editar: Aclaración de los comentarios. Sí, esto significa encontrar archivos duplicados entre diferentes torrents y evitar descargarlos.

Sé que algunos clientes le permiten seleccionar qué archivos dentro de un torrent descargar. ¿Es posible obtener una suma de comprobación de archivos individuales dentro de un torrent, antes de descargarlos? Si es así, podría hacer un guión o algo así.

bittorrent qbittorrent fullmooninu
fuente
1
Si es el mismo torrent, se le notificará cuando comience a descargar si el otro se está ejecutando, además de que no verifica cada torrent que es diferente para archivos duplicados
Moab
1
Los archivos duplicados dentro del torrente contendrían las mismas piezas. Si habla de deduplicación entre torrents, eso es un asunto diferente.
jdwolf
@jdwolf No, las piezas tendrían diferentes compensaciones, por lo que no serán idénticas.
Encombe
@Encombe Si tuvieran diferentes "compensaciones", no serían el mismo archivo ahora, ¿verdad?
jdwolf
¿Es posible obtener una suma de comprobación de archivos individuales dentro de un torrent antes de descargarlos? Si es así, podría hacer un guión o algo así.
fullmooninu

Respuestas:

2

No es posible determinar si un archivo en un torrent también existe en otro torrent a partir de los datos disponibles en los archivos .torrent. Simplemente no hay soporte de deduplicación en el protocolo estándar BitTorrent.

Cuando se crea un torrent, todos los archivos que contiene se concatenan juntos y luego se fragmentan.

example:
Files  |---#1|#2|---#3|-----------------------#4|#5|------#6|-----#7|-------#8|
Pieces |--0|--1|--2|--3|--4|--5|--6|--7|--8|--9|-10|-11|-12|-13|-14|-15|-16|17|
  • Todas las piezas tienen la misma longitud excepto la última.
  • Un archivo tiene una o más piezas.
  • Una pieza puede contener (partes de) más de un archivo.
  • Es muy raro que los archivos internos y los límites de las piezas se alineen (excepto si se usan archivos de relleno).
  • Un archivo en un torrent de varios archivos casi siempre tiene una pieza compartida con otro archivo.

El problema es que no es posible crear un hash de archivo a partir de los hash de la pieza.

(@jdwolf Incluso si el archivo n. ° 1 y el archivo n. ° 3 son idénticos, todos los hash de sus piezas serán diferentes).

Hay algunos programas creadores de torrent que opcionalmente pueden agregar hashes de archivos, pero afaik no se usa en ningún lado.

Encombe
fuente