Tengo problemas para comprender mi gran factura de S3, y pensé en preguntar aquí antes de perder $ 30 en el soporte mensual de AWS.
Básicamente, tengo una instancia de Amazon EC2 que hace una API para diferentes intercambios de criptomonedas y guarda las respuestas en la instancia HD. Las llamadas se realizan aproximadamente cada 5 minutos, los objetos de respuesta son de aproximadamente 100 kb, se leen mediante un script R y se agregan a un archivo CSV cada ~ 8 minutos. Ese archivo CSV se sincroniza con un bucket de Amazon S3 aproximadamente cada 15 minutos.
Los archivos CSV suelen tener aproximadamente 10 MB, aproximadamente 15 criptomonedas, cada 15 minutos. Entonces, mirando en el bucket de Amazon S3, podría haber 0.5 GB de espacio como máximo.
Sin embargo, ¡el 'TimedStorage-ByteHours' se lee a aproximadamente 4 TB!
Servicio de almacenamiento simple de Amazon TimedStorage-ByteHrs $ 89.55
$ 0.000 por GB: almacenamiento en el nivel mensual gratuito global5 GB - Mo $ 0.00
$ 0.023 por GB - primeros 50 TB / mes de almacenamiento utilizado 3,893.399 GB - Mo $ 89.55
¿Algunas ideas?
fuente
Respuestas:
Lo más probable es que tenga habilitado el control de versiones S3 , lo que significa que los objetos antiguos cuando se sobrescriben con una versión más nueva no se eliminan, sino que se ocultan en un historial. Para verificar vaya a Bucket -> Properties -> Versioning .
También puede ver las versiones anteriores en el navegador, como en esta captura de pantalla tengo varias versiones del
108c05...json
archivo:Si tiene habilitado el control de versiones pero no desea, puede suspender el control de versiones, pero tenga en cuenta que no eliminará las versiones anteriores, deberá:
aws s3api list-object-versions
)Espero que ayude :)
fuente
El almacenamiento de acceso poco frecuente tiene un cargo mínimo de 30 días por artículo
Standard
es el más caro, por lo que algunas personas lo usan, loinfrequent access
que tiene una tarifa mensual más baja (~ 50% de descuento) por GB almacenado de acuerdo con la tabla de precios. PERO, Infrequent también tiene un cargo de recuperación de $ 0.01 / GB, por lo que solo ahorra en costos totales para archivos almacenados al menos un mes y recuperados menos de una vez al mes. Además, puede haber una política de ciclo de vida en su depósito que cambie la clase de almacenamiento de archivos a lo largo del tiempo, lo que puede afectar cuando se inicia el período de almacenamiento mínimo de 30 días.En letra pequeña,
infrequent access
tiene un cargo mínimo de 30 días por cada artículo almacenado.Fuente: https://aws.amazon.com/s3/pricing/
Primera nota al pie, marcada †
Lo que es costoso sobre Amazon S3, y Google Cloud Storage también, son los cargos de red si los datos se envían a Internet público en lugar de mantenerse en la nube de esa compañía. El cargo de red para recuperar una vez puede exceder fácilmente el cargo de almacenamiento durante 3-4 meses. $ 0.09 / GB (octubre de 2018) para AWS S3 , $ 0.12 / GB para Google Cloud Storage , nivel de uso más bajo.
Digital Ocean tiene una capa de almacenamiento compatible con S3 llamada "Espacios" que vale la pena echarle un vistazo. Se han reportado algunos errores, y podrían estar limitados de alguna manera, pero el precio general parece interesante y podría ser "lo suficientemente bueno" para algunos usos.
fuente