Digamos que tengo una máquina que quiero poder escribir en un determinado archivo de registro almacenado en un bucket de S3.

Entonces, la máquina necesita tener habilidades de escritura en ese depósito, pero no quiero que tenga la capacidad de sobrescribir o eliminar ningún archivo en ese depósito (incluido el que quiero que escriba).

Entonces, básicamente, quiero que mi máquina solo pueda agregar datos a ese archivo de registro, sin anularlo ni descargarlo.

¿Hay alguna forma de configurar mi S3 para que funcione así? Tal vez haya alguna política de IAM que pueda adjuntar para que funcione como quiero.

Desafortunadamente, no puedes.

S3 no tiene una operación de "agregar". ^* Una vez que se ha cargado un objeto, no hay forma de modificarlo en su lugar; su única opción es cargar un nuevo objeto para reemplazarlo, que no cumple con sus requisitos.

*: Sí, sé que esta publicación tiene un par de años. Sin embargo, sigue siendo exacto.

Como dice la respuesta aceptada, no puede. La mejor solución que conozco es usar:

AWS Kinesis Firehose

https://aws.amazon.com/kinesis/firehose/

Su ejemplo de código parece complicado, pero el tuyo puede ser realmente simple. Continúa realizando operaciones PUT (o BATCH PUT) en un flujo de entrega de Kinesis Firehose en su aplicación (utilizando el AWS SDK) y configura el flujo de entrega de Kinesis Firehose para enviar sus datos transmitidos a un bucket de AWS S3 de su elección (en el Consola de AWS Kinesis Firehose).

Todavía no es tan conveniente como >>desde la línea de comandos de Linux, porque una vez que haya creado un archivo en S3, nuevamente tendrá que lidiar con descargar, agregar y cargar el nuevo archivo, pero solo tiene que hacerlo una vez por lote de líneas. que por cada línea de datos, por lo que no necesita preocuparse por los enormes cargos debido al volumen de operaciones de adición. Tal vez se pueda hacer, pero no veo cómo hacerlo desde la consola.

Los objetos en S3 no se pueden agregar. Tienes 2 soluciones en este caso:

1. copie todos los datos de S3 en un nuevo objeto, agregue el nuevo contenido y vuelva a escribir en S3.

function writeToS3(input) {
    var content;
    var getParams = {
        Bucket: 'myBucket', 
        Key: "myKey"
    };

    s3.getObject(getParams, function(err, data) {
        if (err) console.log(err, err.stack);
        else {
            content = new Buffer(data.Body).toString("utf8");
            content = content + '\n' + new Date() + '\t' + input;
            var putParams = {
                Body: content,
                Bucket: 'myBucket', 
                Key: "myKey",
                ACL: "public-read"
             };

            s3.putObject(putParams, function(err, data) {
                if (err) console.log(err, err.stack); // an error occurred
                else     {
                    console.log(data);           // successful response
                }
             });
        }
    });  
}

2. La segunda opción es utilizar Kinesis Firehose. Esto es bastante sencillo. Debe crear su flujo de entrega de manguera de incendios y vincular el destino al depósito S3. ¡Eso es!

function writeToS3(input) {
    var content = "\n" + new Date() + "\t" + input;
    var params = {
      DeliveryStreamName: 'myDeliveryStream', /* required */
      Record: { /* required */
        Data: new Buffer(content) || 'STRING_VALUE' /* Strings will be Base-64 encoded on your behalf */ /* required */
      }
    };

    firehose.putRecord(params, function(err, data) {
      if (err) console.log(err, err.stack); // an error occurred
      else     console.log(data);           // successful response
    }); 
}

Como otros han dicho anteriormente, los objetos S3 no se pueden adjuntar.
Sin embargo, otra solución sería escribir en los registros de CloudWatch y luego exportar los registros que desee a S3 . Esto también evitaría que los atacantes que accedan a su servidor eliminen de su bucket de S3, ya que Lambda no requeriría ningún permiso de S3.

En caso de que alguien quiera agregar datos a un objeto con un servicio similar a S3, Alibaba Cloud OSS (Object Storage Service) lo admite de forma nativa .

OSS permite agregar contenido (a través de la API AppendObject), lo que le permite agregar contenido directamente al final de un objeto. Los objetos cargados mediante este método son objetos que se pueden agregar, mientras que los objetos cargados mediante otros métodos son objetos normales. Los datos adjuntos se pueden leer al instante.

Tuve un problema similar y esto es lo que había preguntado

cómo agregar datos en un archivo usando AWS Lambda

Esto es lo que se me ocurre para resolver el problema anterior:

Utilice getObject para recuperar del archivo existente

   s3.getObject(getParams, function(err, data) {
   if (err) console.log(err, err.stack); // an error occurred
   else{
       console.log(data);           // successful response
       var s3Projects = JSON.parse(data.Body);
       console.log('s3 data==>', s3Projects);
       if(s3Projects.length > 0) {
           projects = s3Projects;
       }   
   }
   projects.push(event);
   writeToS3(); // Calling function to append the data
});

Escribir función para agregar en el archivo

   function writeToS3() {
    var putParams = {
      Body: JSON.stringify(projects),
      Bucket: bucketPath, 
      Key: "projects.json",
      ACL: "public-read"
     };

    s3.putObject(putParams, function(err, data) {
       if (err) console.log(err, err.stack); // an error occurred
       else     console.log(data);           // successful response
        callback(null, 'Hello from Lambda');
     });
}

¡¡Espero que esto ayude!!