¿Cómo puedo obtener el tamaño de un cubo de Amazon S3?

Me gustaría graficar el tamaño (en bytes y # de elementos) de un bucket de Amazon S3 y estoy buscando una forma eficiente de obtener los datos.

Las herramientas s3cmd proporcionan una forma de obtener el tamaño total del archivo s3cmd du s3://bucket_name, pero me preocupa su capacidad de escalar, ya que parece que obtiene datos sobre cada archivo y calcula su propia suma. Dado que Amazon cobra a los usuarios en GB-Months, parece extraño que no expongan este valor directamente.

Aunque la API REST de Amazon devuelve la cantidad de elementos en un cubo, s3cmd no parece exponerlo. Podría hacerlo, s3cmd ls -r s3://bucket_name | wc -lpero eso parece un truco.

La biblioteca Ruby AWS :: S3 parecía prometedora, pero solo proporciona el número de elementos del depósito, no el tamaño total del depósito.

¿Alguien conoce alguna otra herramienta de línea de comandos o bibliotecas (prefiera Perl, PHP, Python o Ruby) que proporcionen formas de obtener estos datos?

La AWS CLI ahora admite el --queryparámetro que toma expresiones JMESPath .

Esto significa que puede sumar los valores de tamaño dados list-objectsusando sum(Contents[].Size)y contar como length(Contents[]).

Esto se puede ejecutar utilizando la AWS CLI oficial como se muestra a continuación y se introdujo en febrero de 2014

 aws s3api list-objects --bucket BUCKETNAME --output json --query "[sum(Contents[].Size), length(Contents[])]"

Esto ahora se puede hacer trivialmente solo con el cliente oficial de línea de comandos de AWS:

aws s3 ls --summarize --human-readable --recursive s3://bucket-name/

Documentación oficial

Esto también acepta prefijos de ruta si no desea contar el depósito completo:

aws s3 ls --summarize --human-readable --recursive s3://bucket-name/directory

Consola de AWS:

A partir del 28 de julio de 2015 , puede obtener esta información a través de CloudWatch . Si desea una GUI, vaya a la consola de CloudWatch : (Elija Región>) Métricas> S3

Comando de la CLI de AWS:

Esto es mucho más rápido que algunos de los otros comandos publicados aquí, ya que no consulta el tamaño de cada archivo individualmente para calcular la suma.

 aws cloudwatch get-metric-statistics --namespace AWS/S3 --start-time 2015-07-15T10:00:00 --end-time 2015-07-31T01:00:00 --period 86400 --statistics Average --region eu-west-1 --metric-name BucketSizeBytes --dimensions Name=BucketName,Value=toukakoukan.com Name=StorageType,Value=StandardStorage

Importante : debe especificar StorageType y BucketName en el argumento de dimensiones; de lo contrario, no obtendrá resultados. Todo lo que tiene que cambiar es el --start-date, --end-timey Value=toukakoukan.com.

Aquí hay un script bash que puede usar para evitar tener que especificar --start-datey --end-timemanualmente.

#!/bin/bash
bucket=$1
region=$2
now=$(date +%s)
aws cloudwatch get-metric-statistics --namespace AWS/S3 --start-time "$(echo "$now - 86400" | bc)" --end-time "$now" --period 86400 --statistics Average --region $region --metric-name BucketSizeBytes --dimensions Name=BucketName,Value="$bucket" Name=StorageType,Value=StandardStorage

s3cmd puede hacer esto:

s3cmd du s3://bucket-name

Si descarga un informe de uso , puede representar gráficamente los valores diarios del TimedStorage-ByteHrscampo.

Si desea ese número en GiB, simplemente divídalo entre 1024 * 1024 * 1024 * 24(eso es GiB-horas para un ciclo de 24 horas). Si desea el número en bytes, simplemente divídalo entre 24 y grafique.

Usando las herramientas oficiales de línea de comandos de AWS s3:

aws s3 ls s3://bucket/folder --recursive | awk 'BEGIN {total=0}{total+=$3}END{print total/1024/1024" MB"}'

Este es un comando mejor, simplemente agregue los siguientes 3 parámetros --summarize --human-readable --recursivedespués aws s3 ls. --summarizeaunque no es obligatorio, le da un buen toque al tamaño total.

aws s3 ls s3://bucket/folder --summarize --human-readable --recursive

s4cmd es la forma más rápida que he encontrado (una utilidad de línea de comandos escrita en Python):

pip install s4cmd

Ahora para calcular el tamaño completo del cubo con múltiples hilos:

s4cmd du -r s3://bucket-name

He utilizado la API S3 REST / Curl enumerados anteriormente en este hilo y hice esto:

<?php
if (!class_exists('S3')) require_once 'S3.php';

// Instantiate the class
$s3 = new S3('accessKeyId', 'secretAccessKey');
S3::$useSSL = false;

// List your buckets:
echo "S3::listBuckets(): ";
echo '<pre>' . print_r($s3->listBuckets(), 1). '</pre>';

$totalSize = 0;
$objects = $s3->getBucket('name-of-your-bucket');
foreach ($objects as $name => $val) {
    // If you want to get the size of a particular directory, you can do
    // only that.
    // if (strpos($name, 'directory/sub-directory') !== false)
    $totalSize += $val['size'];
}

echo ($totalSize / 1024 / 1024 / 1024) . ' GB';
?>

Puede usar la utilidad s3cmd, por ejemplo:

s3cmd du -H s3://Mybucket
97G      s3://Mybucket/

Entonces, al navegar por la API y reproducir algunas consultas, S3 producirá todo el contenido de un depósito en una solicitud y no es necesario que descienda a los directorios. Los resultados solo requieren sumar a través de los diversos elementos XML, y no llamadas repetidas. No tengo un cubo de muestra que tenga miles de artículos, así que no sé qué tan bien se escalará, pero parece razonablemente simple.

... Un poco tarde, pero la mejor manera que encontré fue usando los informes en el portal de AWS. Hice una clase de PHP para descargar y analizar los informes. Con él, puede obtener el número total de objetos para cada depósito, el tamaño total en GB o horas de byte y más.

Compruébalo y avísame si fue útil

AmazonTools

Recomiendo usar el Informe de uso S3 para grandes depósitos , consulte mi Cómo para obtenerlo. Básicamente, debe descargar el Informe de uso para el servicio S3 durante el último día con Almacenamiento temporizado - Byte Hrs y analizarlo para obtener el uso del disco.

cat report.csv | awk -F, '{printf "%.2f GB %s %s \n", $7/(1024**3 )/24, $4, $2}' | sort -n

La documentación de AWS le dice cómo hacerlo:

aws s3 ls s3://bucketnanme --recursive --human-readable --summarize

Este es el resultado que obtienes:

2016-05-17 00:28:14    0 Bytes folder/
2016-05-17 00:30:57    4.7 KiB folder/file.jpg
2016-05-17 00:31:00  108.9 KiB folder/file.png
2016-05-17 00:31:03   43.2 KiB folder/file.jpg
2016-05-17 00:31:08  158.6 KiB folder/file.jpg
2016-05-17 00:31:12   70.6 KiB folder/file.png
2016-05-17 00:43:50   64.1 KiB folder/folder/folder/folder/file.jpg

Total Objects: 7

   Total Size: 450.1 KiB

Para un enfoque realmente de baja tecnología: use un cliente S3 que pueda calcular el tamaño por usted. Estoy usando la transmisión de pánico, haga clic en un cubo, haga "Obtener información" y haga clic en el botón "Calcular". No estoy seguro de cuán rápido o preciso es en relación con otros métodos, pero parece devolver el tamaño que esperaba que fuera.

Como hay tantas respuestas, pensé que me ayudaría con las mías. Escribí mi implementación en C # usando LINQPad. Copie, pegue e ingrese la clave de acceso, la clave secreta, el punto final de la región y el nombre del depósito que desea consultar. Además, asegúrese de agregar el paquete nuget AWSSDK.

Probando contra uno de mis cubos, me dio una cuenta de 128075 y un tamaño de 70.6GB. Sé que es 99.9999% de precisión, así que estoy bien con el resultado.

void Main() {
    var s3Client = new AmazonS3Client("accessKey", "secretKey", RegionEndpoint.???);
    var stop = false;
    var objectsCount = 0;
    var objectsSize = 0L;
    var nextMarker = string.Empty;

    while (!stop) {
        var response = s3Client.ListObjects(new ListObjectsRequest {
            BucketName = "",
            Marker = nextMarker
        });

        objectsCount += response.S3Objects.Count;
        objectsSize += response.S3Objects.Sum(
            o =>
                o.Size);
        nextMarker = response.NextMarker;
        stop = response.S3Objects.Count < 1000;
    }

    new {
        Count = objectsCount,
        Size = objectsSize.BytesToString()
    }.Dump();
}

static class Int64Extensions {
    public static string BytesToString(
        this long byteCount) {
        if (byteCount == 0) {
            return "0B";
        }

        var suffix = new string[] { "B", "KB", "MB", "GB", "TB", "PB", "EB" };
        var longBytes = Math.Abs(byteCount);
        var place = Convert.ToInt32(Math.Floor(Math.Log(longBytes, 1024)));
        var number = Math.Round(longBytes / Math.Pow(1024, place), 1);

        return string.Format("{0}{1}", Math.Sign(byteCount) * number, suffix[place]);
    }
}

Si desea obtener el tamaño de la consola de AWS:

1. Vaya a S3 y haga clic en el nombre del cubo
2. Seleccione la pestaña "Administración"

3. Seleccione la pestaña Métricas

De forma predeterminada, debería ver Métrica de almacenamiento del depósito

Sé que esta es una pregunta anterior, pero aquí hay un ejemplo de PowerShell:

Get-S3Object -BucketName <buckename> | select key, size | foreach {$A += $_.size}

$A contiene el tamaño del depósito, y hay un parámetro de nombre de clave si solo desea el tamaño de una carpeta específica en un depósito.

Para verificar el tamaño de todos los cubos, pruebe este script bash

s3list=`aws s3 ls | awk  '{print $3}'`
for s3dir in $s3list
do
    echo $s3dir
    aws s3 ls "s3://$s3dir"  --recursive --human-readable --summarize | grep "Total Size"
done

Puedes usar s3cmd:

s3cmd du s3://Mybucket -H

o

s3cmd du s3://Mybucket --human-readable

Da los objetos totales y el tamaño del cubo en una forma muy legible.

Hola, hay una herramienta de búsqueda de metadatos para AWS S3 en https://s3search.p3-labs.com/ . Esta herramienta proporciona estadísticas sobre objetos en un cubo con búsqueda en metadatos.

También Hanzo S3 Tools hace esto. Una vez instalado, puede hacer:

s3ls -s -H bucketname

Pero creo que esto también se resume en el lado del cliente y no se recupera a través de la API de AWS.

Mediante el programa Cloudberry también es posible enumerar el tamaño del depósito, la cantidad de carpetas y el total de archivos, haciendo clic en "propiedades" en la parte superior del depósito.

Si no desea utilizar la línea de comandos, en Windows y OSX, hay una aplicación de administración remota de archivos de propósito general llamada Cyberduck . Inicie sesión en S3 con su par de claves de acceso / secreto, haga clic derecho en el directorio, haga clic Calculate.

Escribí un script Bash, s3-du.sh que enumerará los archivos en un cubo con s3ls, e imprimirá el recuento de archivos y tamaños como

s3-du.sh testbucket.jonzobrist.com
149 files in bucket testbucket.jonzobrist.com
11760850920 B
11485205 KB
11216 MB
10 GB

Guión completo:

#!/bin/bash

if [ “${1}” ]
then
NUM=0
COUNT=0
for N in `s3ls ${1} | awk ‘{print $11}’ | grep [0-9]`
do
NUM=`expr $NUM + $N`
((COUNT++))
done
KB=`expr ${NUM} / 1024`
MB=`expr ${NUM} / 1048576`
GB=`expr ${NUM} / 1073741824`
echo “${COUNT} files in bucket ${1}”
echo “${NUM} B”
echo “${KB} KB”
echo “${MB} MB”
echo “${GB} GB”
else
echo “Usage : ${0} s3-bucket”
exit 1
fi    

Lo hace el tamaño del subdirectorio, ya que Amazon devuelve el nombre del directorio y el tamaño de todos sus contenidos.

CloudWatch tiene ahora un panel de servicio de S3 predeterminado que lo enumera en un gráfico llamado "Promedio de bytes de tamaño de depósito". Creo que este enlace funcionará para cualquier persona que ya haya iniciado sesión en la consola de AWS:

La siguiente forma utiliza AWS PHP SDK para obtener el tamaño total del depósito.

// make sure that you are using correct region (where the bucket is) to get new Amazon S3 client
$client = \Aws\S3\S3Client::factory(array('region' => $region));

// check if bucket exists
if (!$client->doesBucketExist($bucket, $accept403 = true)) {
    return false;
}
// get bucket objects
$objects = $client->getBucket(array('Bucket' => $bucket));

$total_size_bytes = 0;
$contents = $objects['Contents'];

// iterate through all contents to get total size
foreach ($contents as $key => $value) {
   $total_bytes += $value['Size'];
}
$total_size_gb = $total_size_bytes / 1024 / 1024 / 1024;

Esto funciona para mi ...

aws s3 ls s3://bucket/folder/ --recursive | awk '{sz+=$3} END {print sz/1024/1024 "MB"}'