¿Cómo especificar caracteres usando códigos hexadecimales en `grep`?

Estoy usando el siguiente comando para grep rango de juego de caracteres para el código hexadecimal 0900 (en lugar de अ) a 097F (en lugar de व). ¿Cómo puedo usar el código hexadecimal en lugar de अ y व?

bzcat archive.bz2 | grep -v '<[अ-व]*\s' | tr '[:punct:][:blank:][:digit:]' '\n' | uniq | grep -o '^[अ-व]*$' | sort -f | uniq -c | sort -nr | head -50000 | awk '{print "<w f=\""$1"\">"$2"</w>"}' > hindi.xml

Me sale el siguiente resultado:

    <w f="399651">और</w>
    <w f="264423">एक</w>
    <w f="213707">पर</w>
    <w f="74728">कर</w>
    <w f="44281">तक</w>
    <w f="35125">कई</w>
    <w f="26628">द</w>
    <w f="23981">इन</w>
    <w f="22861">जब</w> 
    ...

Solo quiero usar código hexadecimal en lugar de अ y व en el comando anterior.

Si el uso del código hexadecimal no es posible, ¿puedo usar unicode en lugar del código hexadecimal para el juego de caracteres ('अ-व')?

Estoy usando Ubuntu 10.04

Mira esta pregunta .

El texto generalmente está codificado en UTF-8; por lo que debe usar los valores hexadecimales de los bytes utilizados en la codificación utf-8.

grep "["$'\xe0\xa4\x85'"-"$'\xe0\xa4\xb5'"]"

y

grep '[अ-व]'

son equivalentes y realizan una coincidencia basada en la configuración regional (es decir, la coincidencia depende de las reglas de ordenación del script devanagari (es decir, la coincidencia NO es "ningún carácter entre \ u0905 y \ 0935", sino "cualquier cosa que se clasifique entre devanagari") A y devanagari VA "; puede haber diferencias.

Por otro lado, tienes esto (nota -P):

grep -P "\xe0\xa4[\x85-\xb5]"

eso hará una coincidencia binaria con esos valores de bytes .

Si el escape de shell es suficiente, puede usar la $'\xHH'sintaxis como esta:

grep -v "<["$'\x09\x00'"-"$'\x09\x7F'"]*\s"

¿Es eso suficiente para su caso de uso?

El valor "hexadecimal" 0x0900que escribió es exactamente el valor del punto de código UNICODE que también está en hexadecimal.

código hexadecimal 0900 (en lugar de अ)

Creo que lo que usted quiere decir es el punto de código Unicode hexadecimal: U0905.

El carácter en el T-0900 no es la misma que utilizó: अ.
Ese carácter es U0905 , parte de esta página Unicode , o aparece en esta página .

En bash(instalado de manera predeterminada en Ubuntu), o directamente con el programa en: /usr/bin/printf(pero no con shprintf), se podría generar un carácter Unicode con:

$ printf '\u0905'
अ
$ /usr/bin/printf '\u0905'
अ

Sin embargo, ese carácter, que proviene de un número de punto de código, podría estar representado por varias secuencias de bytes, dependiendo de la página de códigos utilizada.
Debería ser obvio que \U0905está 0x09 0x05en UTF-16 (UCS-2, etc.)
y 0x00 0x00 0x09 0x05en UTF-32.
Puede que no sea obvio, pero en utf-8 está representado por 0xe0 0xa4 0x85:

$ /usr/bin/printf '\u0905' | od -vAn -tx1
e0 a4 85

Si la configuración regional de su consola es algo similar a en_US.UTF-8.

Y estoy hablando del shell porque es el que transforma una cadena en lo que recibe la aplicación. Esta:

grep "$(printf '\u0905')" file

hace que grep "vea" el personaje que necesita.
Para comprender la línea anterior, puede usar echo:

$ echo grep "$(printf '\u0905')" file
grep अ file

Luego, podemos construir un rango de caracteres, según lo solicite:

$ echo grep "$(printf '[\u0905-\u097f]')" file
grep [अ-ॿ] file

Eso responde a tu pregunta:

¿Cómo puedo usar el código hexadecimal en lugar de अ y व?

queríamos convertir la comilla doble abierta y la comilla cerrada no ascii en comillas dobles regulares ("). También la comilla simple no ascii en comillas simples regulares (').

para verlos en el archivo (ubuntu bash shell):

$ grep -P "\x92" infile.txt  (single)
$ grep -P "\x93" infile.txt  (open double)
$ grep -P "\x94" infile.txt  (close double)

TRADUCELOS:

$ /bin/sed "s/\x92/'/g" a.txt > b.txt
$ /bin/sed 's/\x93/"/g' b.txt > c.txt
$ /bin/sed 's/\x94/"/g' c.txt > d.txt