Uso de awk para eliminar la marca de orden de bytes

¿Cómo se vería un awkguión (presumiblemente una sola línea) para eliminar una lista de materiales ?

Especificación:

• imprimir cada línea después de la primera ( NR > 1)
• para la primera línea: si comienza con #FE #FFo #FF #FE, elimínelos e imprima el resto

Prueba esto:

awk 'NR==1{sub(/^\xef\xbb\xbf/,"")}{print}' INFILE > OUTFILE

En el primer registro (línea), elimine los caracteres BOM. Imprime todos los registros.

O un poco más corto, sabiendo que la acción predeterminada en awk es imprimir el registro:

awk 'NR==1{sub(/^\xef\xbb\xbf/,"")}1' INFILE > OUTFILE

1 es la condición más corta que siempre se evalúa como verdadera, por lo que se imprime cada registro.

¡Disfrutar!

- ADENDA -

Las preguntas frecuentes sobre la marca de orden de bytes (BOM) Unicode incluyen la siguiente tabla que enumera los bytes de BOM exactos para cada codificación:

Bytes         |  Encoding Form
--------------------------------------
00 00 FE FF   |  UTF-32, big-endian
FF FE 00 00   |  UTF-32, little-endian
FE FF         |  UTF-16, big-endian
FF FE         |  UTF-16, little-endian
EF BB BF      |  UTF-8

Por lo tanto, puede ver cómo \xef\xbb\xbfcorresponde a los EF BB BF UTF-8bytes de la lista de materiales en la tabla anterior.

Usando GNU sed(en Linux o Cygwin):

# Removing BOM from all text files in current directory:
sed -i '1 s/^\xef\xbb\xbf//' *.txt

En FreeBSD:

sed -i .bak '1 s/^\xef\xbb\xbf//' *.txt

Ventaja de usar GNU o FreeBSD sed: el -iparámetro significa "en el lugar" y actualizará los archivos sin necesidad de redirecciones o trucos extraños.

En Mac:

Esta awksolución en otra respuesta funciona , pero el sedcomando anterior no funciona. Al menos en Mac (Sierra), la seddocumentación no menciona el soporte ala de escape hexadecimal \xef.

Se puede lograr un truco similar con cualquier programa conectando a la spongeherramienta desde moreutils :

awk '…' INFILE | sponge INFILE

No awk, pero más simple:

tail -c +4 UTF8 > UTF8.nobom

Para comprobar la lista de materiales:

hd -n 3 UTF8

Si BOM está presente, verá: 00000000 ef bb bf ...

Además de convertir los finales de línea CRLF a LF, dos2unixtambién elimina las listas de materiales:

dos2unix *.txt

dos2unix también convierte archivos UTF-16 con una BOM (pero no archivos UTF-16 sin una BOM) a UTF-8 sin una BOM:

$ printf '\ufeffä\n'|iconv -f utf-8 -t utf-16be>bom-utf16be
$ printf '\ufeffä\n'|iconv -f utf-8 -t utf-16le>bom-utf16le
$ printf '\ufeffä\n'>bom-utf8
$ printf 'ä\n'|iconv -f utf-8 -t utf-16be>utf16be
$ printf 'ä\n'|iconv -f utf-8 -t utf-16le>utf16le
$ printf 'ä\n'>utf8
$ for f in *;do printf '%11s %s\n' $f $(xxd -p $f);done
bom-utf16be feff00e4000a
bom-utf16le fffee4000a00
   bom-utf8 efbbbfc3a40a
    utf16be 00e4000a
    utf16le e4000a00
       utf8 c3a40a
$ dos2unix -q *
$ for f in *;do printf '%11s %s\n' $f $(xxd -p $f);done
bom-utf16be c3a40a
bom-utf16le c3a40a
   bom-utf8 c3a40a
    utf16be 00e4000a
    utf16le e4000a00
       utf8 c3a40a

Sé que la pregunta estaba dirigida a Unix / Linux, pensé que valdría la pena mencionar una buena opción para los que tienen problemas con Unix (en Windows, con una interfaz de usuario).
Me encontré con el mismo problema en un proyecto de WordPress (BOM estaba causando problemas con el feed de rss y la validación de la página) y tuve que buscar en todos los archivos en un árbol de directorios bastante grande para encontrar el que estaba con BOM. Encontré una aplicación llamada Reemplazar Pioneer y en ella:

Batch Runner -> Buscar (para encontrar todos los archivos en las subcarpetas) -> Reemplazar plantilla -> Binario eliminar lista de materiales (hay una plantilla de búsqueda y reemplazo lista para esto).

No era la solución más elegante y requería instalar un programa, lo cual es una desventaja. Pero una vez que descubrí lo que estaba pasando a mi alrededor, funcionó a las mil maravillas (y encontré 3 archivos de aproximadamente 2300 que tenían BOM).