¿Por qué el separador de unidad (ASCII 31) es invisible en la salida del terminal?

El carácter ASCII del separador de unidad (ASCII 31, octal 37), es visible en Vim como a ^_. Pero si imprimo el mismo archivo en la terminal, el personaje es invisible. Esto hace que los campos de una línea se atasquen:

# In Vim and less:

first field^_second field^_last field

# cat the same file to terminal:
cat delim.txt
first fieldsecond fieldlast field

# print 2nd field with awk 
cat delim.txt | awk 'BEGIN {FS = "\037"} {print $2}'
second field

Supongo que puedo hacer que el separador de unidades sea visible con cat -v:

cat -v delim.txt
first field^_second field^_last field

Pero esto es bastante engorroso. ¿Por qué el separador de unidades no tiene una representación visible cuando se imprime en stdout en el shell Bash? Ni siquiera puedo copiar y pegar la salida del shell correctamente; el separador de unidad se pierde en el proceso.

El carácter separador de unidades ( US), también conocido como IS1, está en la cntrlclase de caracteres y no está en la printclase de caracteres. Es un carácter de control destinado a organizar el texto en grupos, para programas diseñados para hacer uso de esa información . En general, los caracteres no imprimibles probablemente serán interpretados y representados de manera diferente en diferentes programas o entornos.

La razón por la que lo ves representado como ^_en Vim es porque Vim es un editor interactivo. Puede representar libremente caracteres no imprimibles como quiera, siempre y cuando el carácter binario correcto esté escrito en el disco.

No puede obtener el mismo comportamiento en el shell porque los programas de shell de Unix están escritos para operar y pasar texto sin formato entre sí. Cuando crea catun archivo, el texto que se escribe en el terminal debe ser lo que realmente está en el archivo.

Entonces eso deja al dispositivo terminal interpretar el personaje. Y resulta que algunos emuladores de terminal hacen que el USpersonaje sea diferente de los demás. En gnome-terminal(o cualquier vteterminal basado en), el personaje se representará como un cuadro que contiene el código hexadecimal 001F. En xtermo rxvt, el personaje es realmente invisible.

El separador de unidades está en el rango ASCII de caracteres de control y, por lo tanto, no tiene (o no debería tener) una representación visual.

Vim y algunos otros editores los muestran, para que pueda editarlos. Como te diste cuentacat -v también lo muestra. La página de manual muestra, esa -ves la forma abreviada de --show-nonprinting, lo que hace que reemplace los caracteres que no se imprimen con una representación imprimible, que no es el contenido original del archivo y, por lo tanto, podría causar problemas, si la salida es realmente a otro programa .

La representación que ve ya insinúa que es un carácter de control: un carácter antepuesto con a ^es una notación común para Ctrl+ el carácter, que es la combinación de teclas que produce este carácter en un terminal. Ctrl+ _le permitirá ingresar el separador de unidades en vim, por ejemplo. Pero otro editor o algún visor de GUI podría mostrar el código hexadecimal, un marcador de posición o algo completamente diferente.

Como su terminal no imprime los caracteres de control, tampoco se copia al seleccionar el texto (los caracteres de espacio en blanco como nueva línea y tabulación son una excepción aquí, que también son caracteres de control). Otro ejemplo de caracteres de control en el terminal que generalmente se ignoran al copiar son los códigos de color, que son un ESCcarácter seguido del código para colorear el texto.

Entonces, para mostrar los caracteres en su terminal, no hay otra manera que usar un programa que reemplace el separador de la unidad con algún carácter imprimible.

Un poco al margen de las otras (muy buenas) respuestas, si desea alterar solo el carácter de control ^_al mostrar el contenido del archivo, es posible que desee transliterarlo utilizando la trutilidad (y un poco de sintaxis compatible con bash) :

# Replace the control character US (^_) by *one* other character
$ cat my.file | tr $'\c_' ':'

Si necesita reemplazar ese carácter de control por su forma "expandida", necesitará en su sedlugar:

# Replace the control character US (^_) by any string
cat /tmp/f | sed s/$'\c_'/^_/g

Tenga en cuenta la sintaxis $'\cX': esta sintaxis informa a su (shell compatible con bash) que reemplace el carácter de control correspondiente. Consulte wikipedia para obtener una lista de alias de caracteres de control utilizando la "notación de intercalación". Si no le gusta esa sintaxis, puede preferir usar la notación octal $'\037'o hexadecimal en su $'\x1f'lugar.