obtener el último objeto modificado de la CLI de S3

Tengo un caso de uso en el que abro programáticamente una instancia EC2, copio un archivo ejecutable de S3, lo ejecuto y cierro la instancia (hecho en datos de usuario). Necesito obtener solo el último archivo agregado de S3. ¿Hay alguna forma de obtener el último archivo / objeto modificado de un depósito de S3 mediante la CLI?

Puede enumerar todos los objetos en el depósito con aws s3 ls $BUCKET --recursive:

$ aws s3 ls $BUCKET --recursive
2015-05-05 15:36:17          4 an_object.txt
2015-06-08 14:14:44   16322599 some/other/object
2015-04-29 12:09:29      32768 yet-another-object.sh

Están ordenados alfabéticamente por clave, pero esa primera columna es la última hora de modificación. Un rápido sortreordenará por fecha:

$ aws s3 ls $BUCKET --recursive | sort
2015-04-29 12:09:29      32768 yet-another-object.sh
2015-05-05 15:36:17          4 an_object.txt
2015-06-08 14:14:44   16322599 some/other/object

tail -n 1selecciona la última fila y awk '{print $4}'extrae la cuarta columna (el nombre del objeto).

$ aws s3 ls $BUCKET --recursive | sort | tail -n 1 | awk '{print $4}'
some/other/object

Por último, pero no menos importante, suelte eso aws s3 cppara descargar el objeto:

$ KEY=`aws s3 ls $BUCKET --recursive | sort | tail -n 1 | awk '{print $4}'`
$ aws s3 cp s3://$BUCKET/$KEY ./latest-object

Después de un tiempo hay una pequeña actualización de cómo hacerlo un poco elegante:

aws s3api list-objects-v2 --bucket "my-awesome-bucket" --query 'sort_by(Contents, &LastModified)[-1].Key' --output=text

En lugar de una reversefunción adicional , podemos obtener la última entrada de la lista a través de[-1]

Respuesta anterior:

Este comando simplemente hace el trabajo sin dependencias externas:

aws s3api list-objects-v2 --bucket "my-awesome-bucket" --query 'reverse(sort_by(Contents, &LastModified))[:1].Key' --output=text

aws s3api list-objects-v2 --bucket "bucket-name" |jq  -c ".[] | max_by(.LastModified)|.Key"

A continuación se muestra el script bash, que descarga el último archivo de un S3 Bucket. En su lugar, utilicé el comando AWS S3 Synch , de modo que no descargaría el archivo de S3 si ya existía.

--exclude, excluye todos los archivos

: incluye, incluye todos los archivos que coinciden con el patrón

#!/usr/bin/env bash

    BUCKET="s3://my-s3-bucket-eu-west-1/list/"
    FILE_NAME=`aws s3 ls $BUCKET  | sort | tail -n 1 | awk '{print $4}'`
    TARGET_FILE_PATH=target/datdump/
    TARGET_FILE=${TARGET_FILE_PATH}localData.json.gz

    echo $FILE_NAME
    echo $TARGET_FILE

    aws s3 sync $BUCKET $TARGET_FILE_PATH --exclude "*" --include "*$FILE_NAME*"

    cp target/datdump/$FILE_NAME $TARGET_FILE

ps Gracias @David Murray

Si se trata de un archivo recién cargado, puede utilizar Lambda para ejecutar un fragmento de código en el nuevo objeto S3.

Si realmente necesita obtener el más reciente, puede nombrar sus archivos con la fecha primero, ordenar por nombre y tomar el primer objeto.