grep: busca todas las líneas que contienen kanjis japoneses

En un gran archivo de texto UTF-8, quiero mostrar todas las líneas que contienen kanjis japoneses .
¿Qué grep(u otra) expresión hace esto?

Si no me equivoco, los kanjis son los caracteres entre \u4e00y \u4dbf.

No necesito mostrar kanas , pero mostrarlas también no sería un gran problema.

Es imposible (sin usar una tabla enorme) distinguir un kanji japonés de un ideógrafo Han que no se usa en japonés (por ejemplo, una variante china o coreana).

Si solo desea detectar cualquier ideógrafo Han en el rango básico (\ u4e00 a \ u9fff), entonces están codificados en 3 bytes, el primer byte siempre está entre 0xe4 y 0xe9, el segundo y tercer bytes entre 0x80 y 0xbf.

Aquí hay dos dificultades: primero debe decirle a grep que desea cuidar los bytes y no los caracteres; luego debe escribir los bytes 0xe4, 0xe9, 0x80 y 0xbf para colocarlos en la expresión regexp.

Descubrí que el interruptor -P hace ambas cosas; y la línea que quieres es:

grep -P "[\xe4-\xe9][\x80-\xbf][\x80-\xbf]"

y si quieres kana también:

grep -P "[\xe4-\xe9][\x80-\xbf][\x80-\xbf]|\xe3[\x81-\x83][\x80-\xbf]"

Según la quinta tabla aquí , los kanji son los caracteres entre \u4e00y\u9fff

Mi implementación de grepno parece ser capaz de manejar caracteres Unicode (eso es GNU grep 2.14 en Archlinux), pero aún podemos usar \x. Puede encontrar los códigos respectivos aquí o utilizar una herramienta hexeditpara obtenerlos.

Para cualquier cosa en nuestro rango de interés anterior, se ha e9 be a5devuelto "Carácter de colación inválido", así que esto es lo que se me ocurrió:

grep "["$'\xe4\xb8\x80'"-"$'\xe9\xbe\xa5'"]" file.txt