¿Cómo distribuir archivos torrent?

15

Estoy haciendo un trabajo distribuido con servidores en la nube RackSpace y estoy usando bittorrent para distribuir mis archivos. Funciona sorprendentemente bien. Sin embargo, distribuir los archivos torrent en sí no es tan bueno. ¿Cómo andarías haciendo eso? En este momento, solo scp los archivos de torrent a los servidores, y por supuesto podría escribir un script que los sqrt(n)copie en los servidores, instruyendo a cada uno para que vuelva a copiar, sqrt(n)pero eso es una pita para trabajarlo.

cloud bittorrent chx
fuente

Respuestas:

23

Sin saber cuál es exactamente su problema, puedo recomendarle pscpde parallel-ssh como herramienta para cargar archivos pequeños en varios servidores.

Prepara una lista de servidores para cargar y le permite saber qué llevar localmente y dónde colocarlo de forma remota. Por ejemplo:

$ pscp -h list-of-servers file.torrent /tmp/
[1] 02:11:22 [SUCCESS] 10.0.0.21
[2] 02:11:22 [SUCCESS] 10.0.0.20
[3] 02:11:22 [SUCCESS] 10.0.0.45
[4] 02:11:22 [SUCCESS] 10.0.0.19
[5] 02:11:22 [SUCCESS] 10.0.0.2
[6] 02:11:22 [SUCCESS] 10.0.0.5
[7] 02:11:25 [FAILURE] 10.0.0.3 Exited with error code 1
chutz
fuente
1
También hay code.google.com/p/pdsh
chx
15

Dado que normalmente son archivos muy pequeños, ¿no podría simplemente tener un 'dropbox' usando HTTP con un script cron'ed haciendo un curl / wget con comodín?

Chopper3
fuente
2
Este es el método que yo usaría, no hay necesidad de empujar un archivo a cada servidor y mantener una lista de servidores, que comprueben periódicamente para el nuevo archivo .torrent
jwbensley
2
también puedes usar Puppet para hacer esto
Noah Yetter
8

Puede hacer que los clientes de torrent comprueben un feed rss en busca de nuevos archivos torrent o cambien a enlaces magnéticos en lugar de archivos torrent.

chewbakka
fuente
RSS puede no ser una opción si él / ella está utilizando un cliente torrent de línea de comando básico.
Hengjie
Podrías Flexget con rtorrent sin gui
chewbakka
Sí, flexget y rtorrent funcionarían bien para esto
Grant
+1 "cambia a enlaces magnéticos en lugar de archivos torrent".
michael
2

Es posible que desee investigar el asesinato

El asesinato es un método de usar Bittorrent para distribuir archivos a una gran cantidad de servidores dentro de un entorno de producción. Esto permite implementaciones escalables y rápidas en entornos de cientos a decenas de miles de servidores donde los sistemas de distribución centralizados no funcionarían de otra manera

.

El asesinato fue desarrollado por la gente de Twitter y lo usan a diario para distribuir archivos.

Jens Timmerman
fuente
proyecto ya no se mantiene.
chovy