¿Ejecutar un comando una vez por línea de entrada canalizada?

Quiero ejecutar un comando java una vez por cada partido de ls | grep pattern -. En este caso, creo que podría hacerlo, find pattern -exec java MyProg '{}' \;pero tengo curiosidad sobre el caso general: ¿hay una manera fácil de decir "ejecutar un comando una vez por cada línea de entrada estándar"? (En pescado o golpe)

Eso es lo que xargshace.

... | xargs command

La respuesta aceptada tiene la idea correcta, pero la clave es pasar xargsel -n1interruptor, lo que significa "Ejecutar el comando una vez por línea de salida:"

cat file... | xargs -n1 command

O, para un solo archivo de entrada, puede evitar la tubería por catcompleto y simplemente ir con:

<file xargs -n1 command

En Bash o cualquier otro shell de estilo Bourne (ash, ksh, zsh, ...):

while read -r line; do command "$line"; done

read -rlee una sola línea desde la entrada estándar ( readsin -rinterpretar barras invertidas, no quiere eso). Por lo tanto, puede hacer lo siguiente:

$ command | while read -r line; do command "$line"; done  

$ while read -r line; do command "$line"; done <file

Estoy de acuerdo con Keith, xargs es la herramienta más general para el trabajo.

Usualmente uso un enfoque de 3 pasos.

• hacer las cosas básicas hasta que tenga algo con lo que le gustaría trabajar
• prepare la línea con awk para que obtenga la sintaxis correcta
• luego deja que xargs lo ejecute, tal vez con la ayuda de bash.

Hay formas más pequeñas y rápidas, pero estas formas casi siempre funcionan.

Un simple ejemplo:

ls | 
grep xls | 
awk '{print "MyJavaProg --arg1 42 --arg2 "$1"\0"}' | 
xargs -0 bash -c

las 2 primeras líneas seleccionan algunos archivos para trabajar, luego awk prepara una buena cadena con un comando para ejecutar y algunos argumentos y $ 1 es la entrada de la primera columna de la tubería. Y finalmente me aseguro de que xargs envíe esta cadena a bash que solo la ejecute.

Es un poco exagerado, pero esta receta me ha ayudado en muchos lugares ya que es muy flexible.

GNU Parallel está hecho para ese tipo de tareas. El uso más simple es:

cat stuff | grep pattern | parallel java MyProg

Mire el video de introducción para obtener más información: http://www.youtube.com/watch?v=OpaiGYxkSuQ

Además, while readrealice un bucle en la concha de pescado (supongo que quiere la concha de pescado, teniendo en cuenta que usó la etiqueta de pescado ).

command | while read line
    command $line
end

Pocos puntos a tener en cuenta.

• readno toma -rargumentos, y no interpreta las barras diagonales inversas, para facilitar el uso más común de los casos de uso.
• No necesita citar $line, ya que a diferencia de bash, fish no separa las variables por espacios.
• commanden sí mismo es un error de sintaxis (para detectar el uso de argumentos de marcador de posición). Reemplácelo con el comando real.

Si necesita controlar dónde se inserta exactamente el argumento de entrada en su línea de comando o si necesita repetirlo varias veces, debe usarlo xargs -I{}.

Cree una estructura de carpetas vacía another_folderque refleje las subcarpetas en el directorio actual:

    ls -1d ./*/ | xargs -I{} mkdir another_folder/{}

Aplique una operación en una lista de archivos proveniente de stdin, en este caso haga una copia de cada .htmlarchivo agregando una .bakextensión:

    find . -iname "*.html" | xargs -I{} cp {} {}.bak

Desde la xargspágina del manual para MacOS / BSD :

 -I replstr
         Execute utility for each input line, replacing one or more occurrences of
         replstr in up to replacements (or 5 if no -R flag is specified) arguments
         to utility with the entire line of input.  The resulting arguments, after
         replacement is done, will not be allowed to grow beyond 255 bytes; this is
         implemented by concatenating as much of the argument containing replstr as
         possible, to the constructed arguments to utility, up to 255 bytes.  The
         255 byte limit does not apply to arguments to utility which do not contain
         replstr, and furthermore, no replacement will be done on utility itself.
         Implies -x.

xargsPágina del manual de Linux :

   -I replace-str
          Replace  occurrences of replace-str in the initial-
          arguments with names read from standard input.  Al‐
          so,  unquoted  blanks do not terminate input items;
          instead the separator  is  the  newline  character.
          Implies -x and -L 1.

Cuando se trata de entradas potencialmente no higienizadas, me gusta ver todo el trabajo 'enunciado' línea por línea para una inspección visual antes de ejecutarlo (especialmente cuando es algo destructivo como limpiar los buzones de las personas).

Entonces, lo que hago es generar una lista de parámetros (es decir, nombres de usuario), alimentarlo a un archivo en un registro por línea, de esta manera:

johndoe  
jamessmith  
janebrown  

Luego abro la lista vimy la destruyo con expresiones de búsqueda y reemplazo hasta que obtengo una lista de comandos completos que deben ejecutarse, así:

/bin/rm -fr /home/johndoe  
/bin/rm -fr /home/jamessmith 

De esta manera, si su expresión regular está incompleta, verá en qué comando tendrá problemas potenciales (es decir /bin/rm -fr johnnyo connor). De esta manera, puede deshacer su expresión regular y volver a intentarlo con una versión más confiable. El cambio de nombre es conocido por esto, porque es difícil ocuparse de todos los casos extremos como Van Gogh, O'Connors, St. Clair, Smith-Wesson.

Tener set hlsearches útil para hacer esto vim, ya que resaltará todas las coincidencias, por lo que puede detectar fácilmente si no coincide o coincide de manera no intencionada.

Una vez que su expresión regular es perfecta y detecta todos los casos en los que puede probar / pensar, generalmente la convierto en una expresión sed para que pueda automatizarse completamente para otra ejecución.

Para los casos en que el número de líneas de entrada le impide realizar una inspección visual, le recomiendo hacer eco del comando en la pantalla (o mejor aún, un registro) antes de que se ejecute, por lo que si se produce un error, sabrá exactamente qué comando causó que falle Luego puede volver a su expresión regular original y ajustar una vez más.

Si un programa ignora la canalización pero acepta archivos como argumentos, puede simplemente señalarlo al archivo especial /dev/stdin.

No estoy familiarizado con Java, pero aquí hay un ejemplo de cómo lo haría para bash:

$ echo $'pwd \n cd / \n pwd' |bash /dev/stdin
/home/rolf
/

El $ es necesario para que bash se traduzca \nen nuevas líneas. No estoy seguro de por qué.

Prefiero esto: permitir comandos de varias líneas y código claro

find -type f -name filenam-pattern* | while read -r F
do
  echo $F
  cat $F | grep 'some text'
done

ref https://stackoverflow.com/a/3891678/248616

Aquí, una copia que puedes usar de inmediato:

cat list.txt | xargs -I{} command parameter {} parameter

El elemento de la lista se colocará donde está el {} y el resto del comando y los parámetros se usarán tal cual.