Límite S3 a los objetos en un cubo

¿Alguien sabe si hay un límite en la cantidad de objetos que puedo poner en un depósito de S3? ¿Puedo poner un millón, 10 millones, etc., todo en un solo cubo?

Según Amazon:

Escriba, lea y elimine objetos que contengan desde 0 bytes hasta 5 terabytes de datos cada uno. La cantidad de objetos que puede almacenar es ilimitada.

Fuente: http://aws.amazon.com/s3/details/ al 3 de septiembre de 2015.

Parece que el límite ha cambiado. Puede almacenar 5 TB para un solo objeto.

El volumen total de datos y la cantidad de objetos que puede almacenar son ilimitados. Los objetos individuales de Amazon S3 pueden variar en tamaño desde un mínimo de 0 bytes hasta un máximo de 5 terabytes. El objeto más grande que se puede cargar en una sola PUT es de 5 gigabytes. Para objetos de más de 100 megabytes, los clientes deben considerar el uso de la capacidad de carga multiparte.

http://aws.amazon.com/s3/faqs/#How_much_data_can_I_store

• No hay límite de objetos por depósito.
• Hay un límite de 100 depósitos por cuenta (debe solicitar Amazon si necesita más).
• No hay caída de rendimiento incluso si almacena millones de objetos en un solo depósito.

De los documentos,

No hay límite para la cantidad de objetos que se pueden almacenar en un depósito y no hay diferencia en el rendimiento si usa muchos depósitos o solo unos pocos. Puede almacenar todos sus objetos en un solo depósito o puede organizarlos en varios depósitos.

a agosto de 2016

Si bien puede almacenar una cantidad ilimitada de archivos / objetos en un solo depósito, cuando vaya a enumerar un "directorio" en un depósito, solo le dará los primeros 1000 archivos / objetos en ese depósito de forma predeterminada. Para acceder a todos los archivos en un "directorio" grande como este, debe realizar varias llamadas a su API.

No hay límites para la cantidad de objetos que puede almacenar en su bucket de S3. AWS afirma que tiene almacenamiento ilimitado. Sin embargo, hay algunas limitaciones -

1. De forma predeterminada, los clientes pueden aprovisionar hasta 100 buckets por cuenta de AWS. Sin embargo, puede aumentar su límite de bucket de Amazon S3 visitando Límites de servicio de AWS.
2. Un objeto puede tener de 0 bytes a 5 TB.
3. El objeto más grande que se puede cargar en una sola PUT es de 5 gigabytes.
4. Para objetos de más de 100 megabytes, los clientes deben considerar el uso de la capacidad de carga multiparte.

Dicho esto, si realmente tiene muchos objetos para almacenar en el depósito S3, considere la posibilidad de aleatorizar el prefijo del nombre de su objeto para mejorar el rendimiento.

Cuando su carga de trabajo sea una combinación de tipos de solicitudes, introduzca algo de aleatoriedad en los nombres de las claves agregando una cadena hash como prefijo al nombre de la clave. Al introducir aleatoriedad en los nombres de las claves, la carga de E / S se distribuirá en varias particiones de índice. Por ejemplo, puede calcular un hash MD5 de la secuencia de caracteres que planea asignar como clave y agregar 3 o 4 caracteres del hash como prefijo al nombre de la clave.

Más detalles: https://aws.amazon.com/premiumsupport/knowledge-center/s3-bucket-performance-improve/

- A junio de 2018

"Puede almacenar tantos objetos como desee dentro de un depósito y escribir, leer y eliminar objetos en su depósito. Los objetos pueden tener un tamaño de hasta 5 terabytes".

de http://aws.amazon.com/s3/details/ (al 4 de marzo de 2015)

@ Acyra: el rendimiento de la entrega de objetos desde un solo depósito dependería en gran medida de los nombres de los objetos que contiene.

Si los nombres de los archivos estuvieran separados por caracteres aleatorios, entonces sus ubicaciones físicas se distribuirían más en el hardware de AWS, pero si nombrara todo 'common-x.jpg', 'common-y.jpg', esos objetos se almacenarán juntos.

Esto puede ralentizar la entrega de los archivos si los solicita simultáneamente, pero no lo suficiente como para preocuparse, el mayor riesgo es la pérdida de datos o una interrupción, ya que estos objetos se almacenan juntos, se perderán o no estarán disponibles juntos.