Cómo importar datos a Amazon S3 desde URL

14

Tengo un depósito S3 y la URL de un archivo grande. Me gustaría almacenar el contenido ubicado en la URL en el bucket de S3.

Podría descargar el archivo a mi máquina local y luego subirlo a S3 con Cloudberry o Jungledisk o lo que sea. Sin embargo, si el archivo es grande, esto puede llevar mucho tiempo porque el archivo debe transferirse dos veces y mi conexión de red es mucho más lenta que la de Amazon.

Si tengo muchos datos para almacenar en S3, puedo iniciar una instancia de EC2, recuperar los archivos a la instancia con curl o wget, y luego enviar los datos de la instancia de EC2 a S3. Esto funciona, pero son muchos pasos si solo quiero archivar un archivo.

¿Alguna sugerencia?

gbroiles
fuente

Respuestas:

3

No estoy al tanto de ninguna manera en que pueda hacer esto sin el paso de tener el archivo localmente simplemente por la forma en que se hace Amazon S3, si publica datos en él, no va a capturar datos.

Mitchel Sellers
fuente
2

Sé que es una vieja pregunta, pero estoy respondiendo en caso de que alguien todavía esté interesado.
En mi empresa, lanzamos un nuevo sitio web que tiene muchas opciones para transferir archivos entre servicios en la nube.
Una de estas características puede ayudarlo a hacer lo que desea sin descargar el archivo a su computadora, irá directamente de la URL a Amazon S3. El sitio web solo necesitará la URL del archivo completo, como www.example.com/files/my .jpg.
URL del sitio web: http://www.autofilemove.com
http://www.autofilemove.com/Support/Features check Web Url feature

Amr Elgarhy
fuente