¿Cómo grep recursivamente a través de archivos .gz?

Estoy usando un script para descargar regularmente mis mensajes de gmail que comprimen el .eml sin formato en archivos .gz. El script crea una carpeta para cada día y luego comprime cada mensaje en su propio archivo.

Me gustaría una forma de buscar en este archivo una "cadena".

Grep solo no parece hacerlo. También probé SearchMonkey.

Si desea grep recursivamente en todos los archivos .eml.gz en el directorio actual, puede usar:

find . -name \*.eml.gz -print0 | xargs -0 zgrep "STRING"

Tienes que escapar del primero *para que el shell no lo interprete. -print0le dice a find que imprima un carácter nulo después de cada archivo que encuentre; xargs -0lee de la entrada estándar y ejecuta el comando después de cada archivo; zgrepfunciona como grep, pero descomprime el archivo primero.

Aquí hay mucha confusión porque no hay una sola zgrep. Tengo dos versiones en mi sistema, zgrepdesde gzipy zgrepdesde zutils. El primero es solo un script envoltorio que llama gzip -cdfq. No es compatible con el -r, --recursiveinterruptor. ¹
Este último es un c++programa y admite la -r, --recursiveopción.
La ejecución zgrep --version | head -n 1revelará cuál de ellos (si corresponde) es el predeterminado:

zgrep (gzip) 1.6

es el script de envoltura,

zgrep (zutils) 1.3

es el cppejecutable
Si tienes este último, puedes ejecutar:

zgrep 'pattern' -r --format=gz /path/to/dir

De todos modos, como se sugiere, find+ zgrepfuncionará igualmente bien con cualquier versión de zgrep:

find /path/to/dir -name '*.gz' -exec zgrep -- 'pattern' {} +

Si zgrepfalta en su sistema (muy poco probable), puede probar con:

find /path/to/dir -name '*.gz' -exec sh -c 'gzip -cd "$0" | grep -- "pattern"' {} \;

pero hay una desventaja importante: no sabrá dónde están las coincidencias ya que no hay un nombre de archivo antepuesto a las líneas coincidentes.

^{1: porque sería problemático}

ages una variante de grep, con algunas características adicionales agradables.

• tiene la opción -z para archivos comprimidos,
• tiene muchas características ack.
• es rápido

Entonces:

ag -r -z your-pattern-goes-here   folder

Si no está instalado,

apt-get install silversearcher-ag   (debian and friends)
yum install the_silver_searcher     (fedora)
brew install the_silver_searcher    (mac)

La recursión sola es fácil:

   -r, --recursive
          Read all files  under  each  directory,  recursively,  following
          symbolic  links  only  if they are on the command line.  This is
          equivalent to the -d recurse option.

   -R, --dereference-recursive
          Read all files under each directory,  recursively.   Follow  all
          symbolic links, unlike -r.

Sin embargo, para archivos comprimidos necesita algo como:

shopt globstar 
for file in /path/to/directory/**/*gz; do zcat ""$file" | grep pattern; done

path/to/directory debe ser el directorio principal que contiene los subdirectorios para cada día.

zgrepes la respuesta obvia pero, desafortunadamente, no es compatible con la -rbandera. De man zgrep:

Estas opciones grep harán que zgrep termine con un código de error: (- [d rR zZ] | --di * | --exc * | --inc * | --rec * | --nu *).

Si su sistema tiene zgrep, simplemente puede

zgrep -irs your-pattern-goes-here the-folder-to-search-goes-here/

Si su sistema no tiene zgrep, puede usar el comando find para ejecutar zcat y grep en cada archivo de la siguiente manera:

find the-folder-to-search-goes-here/ -name '*.gz' \ -exec sh -c 'echo "Searching {}" ; zcat "{}" | grep your-pattern-goes-here ' \;

xzgrep -l "cadena" ./*/*.eml.gz

xzgrep es una derivada de las utilidades de zgrep (less / bin / xzgrep)

Desde la página Man:

xzgrep invoca grep (1) en archivos que pueden estar sin comprimir o comprimidos con xz (1), lzma (1), gzip (1), bzip2 (1) o lzop (1). Todas las opciones especificadas se pasan directamente a grep (1).

-l imprimo el nombre del archivo coincidente

-R para la recursión no funcionará, ya que está específicamente prohibido en el script, sin embargo, el simple bloqueo de shell debería llevarnos allí

./*/*.eml.gz

desde una ruta relativa donde ./today/sample.eml.gz, coincida en todas las instancias que estén un nivel por debajo de nuestra posición relativa en el shell, que termina con ".eml.gz"