Distribución de grandes conjuntos de datos (80GB +) a través de Internet [duplicado]

2

Esta pregunta ya tiene una respuesta aquí:

He visto algunas preguntas similares, pero se trata de archivos de menos de 1 GB y las respuestas generalmente recomiendan servicios como Dropbox, S3 y Skydrive. Esto no parece ser adecuado para mis necesidades.

Tengo un conjunto de datos muy grande (historial de emparejamiento público Dota2) que en su forma sin procesar en MongoDB (sin índices) es de alrededor de 800 GB. Volcando esto y usando la compresión de nivel 7Zip Ultra, puedo lograr una relación de compresión de alrededor del 9-10%, puedo reducir este tamaño a alrededor de 80 GB para la distribución. Estoy buscando una manera de hacer que estos archivos comprimidos estén disponibles públicamente, pero no estoy seguro de la mejor manera de distribuirlos. Puedo dividir los archivos en partes más pequeñas volcando con una consulta. Esto tiene un impacto insignificante en la relación de compresión.

El Internet de mi casa tiene una velocidad de carga muy lenta (1.3Mbps máx., A menudo estrangulado), por lo que preferiría no sembrar un torrent desde mi conexión de casa.

¿Cuál es la mejor manera de distribuir este conjunto de datos? ¿Podría haber una manera de comprimir aún más el conjunto de datos?

EDITAR: Dado que esta pregunta se ha marcado como duplicada, no creo que pueda responderla más. No estoy seguro de cómo alguien piensa que este es un duplicado de una pregunta donde la respuesta aceptada es Dropbox, pero para cualquiera que tropieza con esta pregunta por las mejores opciones parece ser la siguiente:

Utilice BitTorrent como protocolo de transferencia, pero aloje los archivos con un proveedor "Seedbox". Estos parecen ser proveedores de VPS centrados en el ancho de banda proporcionado y el espacio de almacenamiento para los grandes usuarios del protocolo BitTorrent. Como precio promedio, se puede tener suficiente espacio y ancho de banda para mis necesidades por alrededor de $ 10 al mes. Para obtener los archivos en los proveedores de alojamiento, los copiaré en una unidad externa y luego los enviaré por FTP al alojamiento desde múltiples ubicaciones donde tengo acceso a las conexiones a Internet.

bittorrent data-transfer Charles A
fuente
Bittorrent es la mejor manera. A medida que más y más personas obtengan el archivo, menos personas realmente lo recibirán de usted. Finalmente, puede dejar de sembrar el archivo usted mismo.
Ramhound
1
Transferencia de archivos grandes a través de Internet
Sathyajith Bhat
@Ramhound: entiendo cómo funciona Bittorrent, pero me preocupa que incluso yo pudiera saturar por completo mi conexión doméstica las 24 horas del día, los 7 días de la semana, me tomaría casi 6 días obtener la primera copia del conjunto de datos, y las semillas que obtienen una copia y luego elegir abandonar el grupo causará la cantidad de datos que necesito transferir más.
Charles A
@Sathya: apreciado, pero esa pregunta se centra en la seguridad de la distribución de archivos que son considerablemente más pequeños que este conjunto de datos.
Charles A
2
@CharlesA: no existe una forma rápida de distribuir 80 GB de datos. Cualquier solución daría como resultado la distribución de 80 GB de datos. Es muy probable que tenga límites mensuales de transferencia de datos. Verificaría con su proveedor de internet para asegurarme de que podrá distribuir 80GB de datos en un solo mes.
Ramhound