¿Hay alguna manera conveniente de clasificar los archivos como "binarios" o "texto"?

A las utilidades estándar de Unix les gusta grepy diffusan algunas heurísticas para clasificar archivos como "texto" o "binario". (Por ejemplo grep, la salida puede incluir líneas como Binary file frobozz matches.)

¿Existe una prueba conveniente que se pueda aplicar en un zshscript para realizar una clasificación similar de "texto / binario"? (Aparte de algo como grep '' somefile | grep -q Binary).

(Me doy cuenta de que cualquier prueba de este tipo sería necesariamente heurística y, por lo tanto, imperfecta).

Si solicita filesolo el tipo mime , obtendrá muchos diferentes, como text/x-shellscript, application/x-executableetc., pero me imagino que si solo verifica la parte de "texto", obtendrá buenos resultados. Por ejemplo ( -bpara ningún nombre de archivo en la salida):

file -b --mime-type filename | sed 's|/.*||'

Otro enfoque sería usar isutf8de la colección moreutils .

Sale con 0 si el archivo es válido UTF-8 o ASCII, o cortocircuitos, imprime un mensaje de error (silencio con -q) y sale con 1 de lo contrario.

Si te gusta la heurística utilizada por GNU grep, puedes usarla:

isbinary() {
  LC_MESSAGES=C grep -Hm1 '^' < "${1-$REPLY}" | grep -q '^Binary'
}

Se busca NUL bytes en el primer tampón lee desde el archivo (unos kilo-bytes de un archivo normal, pero podría ser mucho menos por un tubo o de tubo o algunos dispositivos como /dev/random). En las configuraciones regionales UTF-8, también marca las secuencias de bytes que no forman caracteres UTF-8 válidos. Asume LC_ALLque no está configurado para algo donde el idioma no sea inglés.

El ${1-$REPLY}formulario le permite usarlo como zshcalificador global:

ls -ld -- *(.+isbinary)

enumeraría los archivos binarios .

Puede intentar determinar si iconvpuede leer el archivo. Esto tiene menos rendimiento que file(que solo lee un par de bytes desde el principio), pero le dará resultados más confiables:

ENCODING=utf-8
if iconv --from-code="$ENCODING" --to-code="$ENCODING" your_file.ext > /dev/null 2>&1; then
    echo text
else
    echo binary
fi

Esto iconvbásicamente hace que no funcione, pero si encuentra datos no válidos (UTF-8 no válido en este ejemplo), vomitará y saldrá.

Puede escribir un script que llame filey usar una declaración de caso para verificar los casos que le interesan.

Por ejemplo

#!/bin/sh
case $(file "$1") in
(*script*|*\ text|*\ text\ *)
    echo text
    ;;
(*)
    echo binary
    ;;
esac

aunque, por supuesto, puede haber muchos casos especiales que sean de interés. Solo comprobando stringsuna copia de libmagic, veo unos 200 casos, por ejemplo,

Konqueror cookie text
Korn shell script text executable
LaTeX 2e document text
LaTeX document text
Linux Software Map entry text
Linux Software Map entry text (new format)
Linux kernel symbol map text
Lisp/Scheme program text
Lua script text executable
LyX document text
M3U playlist text
M4 macro processor script text

Algunos usan la cadena "texto" como parte de un tipo diferente, por ejemplo,

SoftQuad troff Context intermediate   
SoftQuad troff Context intermediate for AT&T 495 laser printer
SoftQuad troff Context intermediate for HP LaserJet

igualmente scriptpodría ser parte de una palabra, pero no veo problemas en este caso. Pero una secuencia de comandos debe comprobar "text"como una palabra , no una subcadena .

Como recordatorio, la filesalida no utiliza una descripción precisa que siempre tenga "script" o "text". Los casos especiales son algo a considerar. Un seguimiento comentó que --mime-typefunciona mientras que este enfoque no lo haría, para los .svgarchivos. Sin embargo, en una prueba veo estos resultados para archivos svg:

$ ls -l *.svg
-r--r--r-- 1 tom users  6679 Jul 26  2012 pumpkin_48x48.svg
-r--r--r-- 1 tom users 17372 Jul 30  2012 sink_48x48.svg
-r--r--r-- 1 tom users  5929 Jul 25  2012 vile_48x48.svg
-r--r--r-- 1 tom users  3553 Jul 28  2012 vile-mini.svg
$ file *.svg
pumpkin_48x48.svg: SVG Scalable Vector Graphics image
sink_48x48.svg:    SVG Scalable Vector Graphics image
vile-mini.svg:     SVG Scalable Vector Graphics image
vile_48x48.svg:    SVG Scalable Vector Graphics image
$ file --mime-type *.svg
pumpkin_48x48.svg: image/svg+xml
sink_48x48.svg:    image/svg+xml
vile-mini.svg:     image/svg+xml
vile_48x48.svg:    image/svg+xml

que seleccioné después de ver que mil archivos muestran solo 6 con "texto" en la salida de tipo mime. Podría decirse que hacer coincidir el "xml" al final de la salida de tipo mime podría ser más útil, por ejemplo, que hacer coincidir "SVG", pero usar un script para hacerlo lo lleva de vuelta a la sugerencia que se hace aquí.

El resultado de filerequiere un poco de ajuste en cualquier escenario, y no es 100% confiable (varios de mis scripts de Perl lo confunden, llamándolos "datos").

Hay más de una implementación de file. El que se usa más comúnmente hace su trabajo libmagic, que puede usarse desde diferentes programas (quizás no directamente desde zsh, aunque pythonpuede).

De acuerdo con la tabla de comparación de pruebas de archivos para shell, Perl, Ruby y Python , Perl tiene una -Topción que puede usar para proporcionar esta información. Pero no enumera ninguna característica comparable para zsh.

Otras lecturas:

• Calificador global de zsh para excluir archivos binarios

filetiene una opción --mime-encodingque intenta detectar la codificación de un archivo.

 $file --mime-encoding Documents/poster2.pdf 
Documents/poster2.pdf: binary
 $file --mime-encoding projects/linux/history-torvalds/Makefile 
projects/linux/history-torvalds/Makefile: us-ascii
 $file --mime-encoding graphe.tex 
Dgraphe.tex: us-ascii
 $file --mime-encoding software.tex 
software.tex: utf-8

Puede usar file --mime-encoding | grep binarypara detectar si un archivo es un archivo binario. Funciona de manera confiable, aunque puede confundirse con un solo carácter no válido en un archivo de texto largo.

Por ejemplo, alias catal siguiente script de shell para evitar arruinar mi terminal al abrir inadvertidamente un archivo binario:

#! /bin/sh -

[ ! -t 1 ] && exec /bin/cat "$@"
for i
do
    if file --mime-encoding -- "$i" | grep -q binary
    then
        hexdump -C -- "$i"
    else
        /bin/cat -- "$i"
    fi
done

Las categorías son arbitrarias. Antes de responder cómo hacer una clasificación, necesita una definición (estricta). Para tener una definición, necesitas un propósito .

Entonces, ¿qué quieres hacer con esa clasificación?

• Si desea seleccionar ascii / binary en FTP, es importante que no transfiera un archivo binario como ascii (o se dañará). Por lo tanto, debe probar si el archivo es texto plano, html, rtf y algunos otros. Pero en caso de duda, seleccione binario. Y tal vez también desee probar que el archivo solo tiene un subconjunto como 0x0A, 0x0D y 0x20-0x7F.
• Si desea transferir el archivo en algún protocolo (POP3, SMTP), debe probar para elegir si codifica en base64 o simplemente. En este caso, debe probar si hay caracteres no compatibles.
• Cualquier otro caso ... puede tener cualquier otra definición.

perl -e'chomp(my$f=<>);print "binary$/" if -B $f;print "text$/" if -T _'

lo haré. Consulte la documentación para -By-T (busque en esa página la cadena The -T and -B switches work as follows).

Contribuí a https://github.com/audreyr/binaryornot. Todavía no tiene un contenedor de línea de comandos, pero esta es una biblioteca simple de Python lo suficientemente fácil de llamar incluso desde la CLI. Utiliza una heurística bastante eficiente para determinar si un archivo es de texto o binario.

Ahora esta respuesta es un poco vieja, pero creo que mi amigo me enseñó un gran "truco" para hacer esto.

Utiliza el diffcomando y comprueba tu archivo con un archivo de texto de prueba:

$ diff filetocheck testfile.txt

Ahora si filetocheckes un archivo binario, la salida sería:

Binary files filetocheck and testfile.txt differ

De esta manera, podría aprovechar el diffcomando y, por ejemplo, escribir una función que verifique en un script.