Apague el buffering en la tubería

Tengo un script que llama a dos comandos:

long_running_command | print_progress

Las long_running_commandimpresiones de un progreso, pero estoy contento con él. Estoy usando print_progresspara hacerlo más agradable (es decir, imprimo el progreso en una sola línea).

El problema: la conexión de una tubería a stdout también activa un búfer 4K, para que el programa de impresión agradable no obtenga nada ... nada ... nada ... mucho ... :)

¿Cómo puedo deshabilitar el búfer 4K para long_running_command(no, no tengo la fuente)?

Puede usar el unbuffercomando (que viene como parte del expectpaquete), p. Ej.

unbuffer long_running_command | print_progress

unbufferse conecta a long_running_commandtravés de un pseudoterminal (pty), lo que hace que el sistema lo trate como un proceso interactivo, por lo tanto, no utiliza el almacenamiento en búfer de 4 kiB en la tubería que es la causa probable del retraso.

Para canalizaciones más largas, es posible que deba quitar el búfer de cada comando (excepto el último), por ejemplo

unbuffer x | unbuffer -p y | z

Otra forma de pelar este gato es usar el stdbufprograma, que es parte de GNU Coreutils (FreeBSD también tiene el suyo propio).

stdbuf -i0 -o0 -e0 command

Esto desactiva el almacenamiento en búfer por completo para entrada, salida y error. Para algunas aplicaciones, el almacenamiento en línea puede ser más adecuado por razones de rendimiento:

stdbuf -oL -eL command

_{Tenga en cuenta que solo funciona para el stdioalmacenamiento en búfer ( printf(), fputs()...) para aplicaciones vinculadas dinámicamente, y solo si esa aplicación no ajusta el almacenamiento en búfer de sus flujos estándar por sí mismo, aunque eso debería cubrir la mayoría de las aplicaciones.}

Otra forma más de activar el modo de salida de almacenamiento en línea para el long_running_commandes usar el scriptcomando que ejecuta su long_running_commanden un pseudo terminal (pty).

script -q /dev/null long_running_command | print_progress      # FreeBSD, Mac OS X
script -c "long_running_command" /dev/null | print_progress    # Linux

Para grep, sedy awkpuede forzar la salida para que sea almacenada en línea. Puedes usar:

grep --line-buffered

Fuerce la salida para que sea almacenada en línea. De manera predeterminada, la salida está protegida en línea cuando la salida estándar es un terminal y el bloque está protegido de otra manera.

sed -u

Hacer que la línea de salida sea amortiguada.

Consulte esta página para obtener más información: http://www.perkin.org.uk/posts/how-to-fix-stdio-buffering.html

Si es un problema con el libc modificando su almacenamiento en búfer / vaciado cuando la salida no va a una terminal, debe intentar socat . Puede crear una secuencia bidireccional entre casi cualquier tipo de mecanismo de E / S. Uno de ellos es un programa bifurcado que habla a un pseudo tty.

 socat EXEC:long_running_command,pty,ctty STDIO 

Lo que hace es

• crear un pseudo tty
• fork long_running_command con el lado esclavo de la pty como stdin / stdout
• establecer una secuencia bidireccional entre el lado maestro de la pty y la segunda dirección (aquí está STDIO)

Si esto le da el mismo resultado que long_running_command, entonces puede continuar con una tubería.

Editar: Wow ¡No vi la respuesta de unbuffer! Bueno, socat es una gran herramienta de todos modos, así que podría dejar esta respuesta

Puedes usar

long_running_command 1>&2 |& print_progress

El problema es que libc hará un buffer de línea cuando stdout a la pantalla, y un buffer completo cuando stdout a un archivo. Pero sin buffer para stderr.

No creo que sea el problema con el buffer de tubería, se trata de la política de buffer de libc.

Solía ​​ser el caso, y probablemente sigue siendo el caso, que cuando la salida estándar se escribe en un terminal, se almacena la línea de forma predeterminada, cuando se escribe una nueva línea, la línea se escribe en el terminal. Cuando la salida estándar se envía a una tubería, está completamente protegida, por lo que los datos solo se envían al siguiente proceso en la tubería cuando se llena la memoria intermedia de E / S estándar.

Esa es la fuente del problema. No estoy seguro de si hay mucho que pueda hacer para solucionarlo sin modificar el programa que se escribe en la tubería. Puede usar la setvbuf()función con la _IOLBFbandera para poner incondicionalmente stdouten modo de línea de búfer. Pero no veo una manera fácil de aplicar eso en un programa. O el programa puede hacerlo fflush()en los puntos apropiados (después de cada línea de salida), pero se aplica el mismo comentario.

Supongo que si reemplaza la tubería con un pseudo-terminal, la biblioteca de E / S estándar pensaría que la salida es un terminal (porque es un tipo de terminal) y alinearía el búfer automáticamente. Sin embargo, esa es una forma compleja de lidiar con las cosas.

Sé que esta es una pregunta antigua y que ya tenía muchas respuestas, pero si desea evitar el problema del búfer, intente algo como:

stdbuf -oL tail -f /var/log/messages | tee -a /home/your_user_here/logs.txt

Esto generará en tiempo real los registros y también los guardará en el logs.txtarchivo y el búfer ya no afectará el tail -fcomando.

No creo que el problema sea con la tubería. Parece que su proceso de larga ejecución no está volcando su propio búfer con la frecuencia suficiente. Cambiar el tamaño del búfer de la tubería sería un truco para evitarlo, pero no creo que sea posible sin reconstruir el kernel, algo que no querría hacer como un pirateo, ya que probablemente afecte a muchos otros procesos.

De acuerdo con esta publicación aquí , podría intentar reducir el límite de la tubería a un solo bloque de 512 bytes. Ciertamente no desactivará el almacenamiento en búfer, pero bueno, 512 bytes es mucho menor que 4K: 3

De manera similar a la respuesta de Chad , puedes escribir un pequeño guión como este:

# save as ~/bin/scriptee, or so
script -q /dev/null sh -c 'exec cat > /dev/null'

Luego use este scripteecomando como reemplazo de tee.

my-long-running-command | scriptee

Por desgracia, parece que no puedo obtener una versión como esa que funcione perfectamente en Linux, por lo que parece estar limitado a los unixes de estilo BSD.

En Linux, esto está cerca, pero no recibe su solicitud cuando finaliza (hasta que presiona enter, etc.) ...

script -q -c 'cat > /proc/self/fd/1' /dev/null

Encontré esta solución inteligente: (echo -e "cmd 1\ncmd 2" && cat) | ./shell_executable

Esto hace el truco. catleerá entradas adicionales (hasta EOF) y las pasará a la tubería después de que echohaya puesto sus argumentos en la secuencia de entrada de shell_executable.

De acuerdo con esto, el tamaño del búfer de tubería parece estar configurado en el núcleo y requeriría que vuelva a compilar su núcleo para modificarlo.