¿La mejor manera de eliminar bytes desde el inicio de un archivo?

Hoy tuve que eliminar los primeros 1131 bytes de un archivo mixto de texto / binario de 800 MB, un volcado de subversión filtrado que estoy pirateando para un nuevo repositorio. ¿Cuál es la mejor manera de hacer esto?

Para empezar intenté

dd bs=1 skip=1131 if=filtered.dump of=trimmed.dump

pero después del salto, esto copia el resto del archivo un byte a la vez, es decir, muy lentamente. Al final trabajé, necesitaba 405 bytes para redondear esto a tres bloques de 512 que podía omitir.

dd if=/dev/zero of=405zeros bs=1 count=405
cat 405zeros filtered.dump | dd bs=512 skip=3 of=trimmed.dump

que se completó bastante rápido, pero debe haber habido una manera más simple / mejor? ¿Hay alguna otra herramienta que haya olvidado? ¡Gracias!

Puede cambiar bs y omitir opciones:

dd bs=1131 skip=1 if=filtered.dump of=trimmed.dump

De esta manera, la operación puede beneficiarse de un bloqueo mayor.

De lo contrario, podría intentar con tail (aunque no es seguro usarlo con archivos binarios):

tail -c +1132 filtered.dump >trimmed.dump

Finalmente, puede usar instancias de 3 dd para escribir algo como esto:

dd if=filtered.dump bs=512k | { dd bs=1131 count=1 of=/dev/null; dd bs=512k of=trimmed.dump; }

donde el primer dd imprime su salida estándar filter.dump; el segundo solo lee 1131 bytes y los tira; luego, el último lee de su entrada estándar los bytes restantes de filter.dump y los escribe en trimmed.dump.

No estoy seguro de cuándo skip_bytesse agregó, pero para omitir los primeros 11 bytes que tiene:

# echo {123456789}-abcdefgh- | 
                              dd bs=4096 skip=11 iflag=skip_bytes
-abcdefgh-
0+1 records in
0+1 records out
11 bytes (11 B) copied, 6.963e-05 s, 158 kB/s

Where iflag=skip_bytesle dice a dd que interprete el valor de la skipopción como bytes en lugar de bloques, lo que lo hace sencillo.

Puede usar un sub-shell y dos ddllamadas como esta:

$ ( dd bs=1131 count=1 of=dev_null && dd bs=4K of=out.mp3 ) < 100827_MR029_LobbyControl.mp3
1+0 records in
1+0 records out
1131 bytes (1.1 kB) copied, 7.9691e-05 s, 14.2 MB/s
22433+1 records in
22433+1 records out
91886130 bytes (92 MB) copied, 0.329823 s, 279 MB/s
$ ls -l *
-rw------- 1 max users 91887261 2011-02-03 22:59 100827_MR029_LobbyControl.mp3
-rw-r--r-- 1 max users     1131 2011-02-03 23:04 dev_null
-rw-r--r-- 1 max users 91886130 2011-02-03 23:04 out.mp3
$ cat dev_null out.mp3 > orig
$ cmp 100827_MR029_LobbyControl.mp3 orig

Si el sistema de archivos y el kernel de Linux lo admiten, puede probar fallocatesi desea realizar los cambios en el lugar: en el mejor de los casos, no hay datos IO en absoluto:

$ fallocate <magic> -o 0 -l 1131 inplace.dump

donde <magic>depende del sistema de archivos, la versión de Linux y el tipo de archivo ( FALLOC_FL_COLLAPSE_RANGEo FALLOC_FL_PUNCH_HOLE | FALLOC_FL_KEEP_SIZEpodría usarse internamente ).

Deberías usar count=0, eso es simple lseek()siempre que sea posible.

Me gusta esto:

{  dd bs=1131 skip=1 count=0; cat; } <filtered.dump >trimmed.dump

ddenviará lseek()el descriptor del archivo de entrada a un desplazamiento de 1131 bytes, y luego catsimplemente copiará lo que quede para la salida.

Otra forma de eliminar bytes iniciales de un archivo (sin usar dden absoluto) es usar xxdy / sedo tailrespectivamente.

bytes=$((1131*2))

xxd -p -c 256 filtered.dump | tr -d '\n' | sed "s/^.\{0,${bytes}\}//" | xxd -r -p > trimmed.dump

bytes=$((bytes + 1)) 
xxd -p -c 256 filtered.dump | tr -d '\n' | tail -c +${bytes} | xxd -r -p > trimmed.dump

@maxschlepzig solicita un revestimiento en línea. Aquí hay uno en perl. Se necesitan 2 argumentos: desde el byte y la longitud. El archivo de entrada debe estar dado por '<' y la salida estará en stdout:

perl -e 'sysseek(STDIN,shift,0) || die; $left = shift;
     while($read = sysread(STDIN,$buf, ($left > 32768 ? 32768 : $left))){
        $left -= $read; syswrite(STDOUT,$buf);
     }' 12345678901 19876543212 < bigfile > outfile

Si la longitud es mayor que el archivo, se copiará el resto del archivo.

En mi sistema, esto entrega 3.5 GB / s.