¿Cómo detectar automáticamente la codificación de archivos de texto?

Hay muchos archivos de texto sin formato que se codificaron en conjuntos de caracteres variantes.

Quiero convertirlos a UTF-8, pero antes de ejecutar iconv, necesito saber su codificación original. La mayoría de los navegadores tienen una Auto Detectopción en las codificaciones, sin embargo, no puedo verificar esos archivos de texto uno por uno porque hay demasiados.

Solo conociendo la codificación original, puedo convertir los textos por iconv -f DETECTED_CHARSET -t utf-8.

¿Hay alguna utilidad para detectar la codificación de archivos de texto sin formato? NO tiene que ser 100% perfecto, no me importa si hay 100 archivos mal convertidos en 1,000,000 de archivos.

Pruebe el módulo chardet Python, que está disponible en PyPi:

pip install chardet

Entonces corre chardetect myfile.txt.

Chardet se basa en el código de detección utilizado por Mozilla, por lo que debe dar resultados razonables, siempre que el texto de entrada sea lo suficientemente largo para el análisis estadístico. Lea la documentación del proyecto .

Como se mencionó en los comentarios, es bastante lento, pero algunas distribuciones también incluyen la versión original de C ++ como @Xavier ha encontrado en https://superuser.com/a/609056 . También hay una versión de Java en alguna parte.

Usaría este simple comando:

encoding=$(file -bi myfile.txt)

O si desea solo el conjunto de caracteres real (como utf-8):

encoding=$(file -b --mime-encoding myfile.txt)

En Linux basado en Debian, el paquete uchardet ( Debian / Ubuntu ) proporciona una herramienta de línea de comandos. Vea a continuación la descripción del paquete:

 universal charset detection library - cli utility
 .
 uchardet is a C language binding of the original C++ implementation
 of the universal charset detection library by Mozilla.
 .
 uchardet is a encoding detector library, which takes a sequence of
 bytes in an unknown character encoding without any additional
 information, and attempts to determine the encoding of the text.
 .
 The original code of universalchardet is available at
 http://lxr.mozilla.org/seamonkey/source/extensions/universalchardet
 .
 Techniques used by universalchardet are described at
 http://www.mozilla.org/projects/intl/UniversalCharsetDetection.html

Para Linux, hay enca y para Solaris puede usar auto_ef .

Mozilla tiene una buena base de código para la detección automática en las páginas web:
http://lxr.mozilla.org/seamonkey/source/extensions/universalchardet/src/

Descripción detallada del algoritmo:
http://www-archive.mozilla.org/projects/intl/UniversalCharsetDetection.html

Volviendo a chardet (python 2.?) Esta llamada podría ser suficiente:

python -c 'import chardet,sys; print chardet.detect(sys.stdin.read())' < file
{'confidence': 0.98999999999999999, 'encoding': 'utf-8'}

Aunque está lejos de ser perfecto ...

echo "öasd" | iconv -t ISO-8859-1 | python -c 'import chardet,sys; print chardet.detect(sys.stdin.read())'
{'confidence': 0.5, 'encoding': 'windows-1252'}

Para aquellos que usan Emacs regularmente, pueden encontrar útil lo siguiente (permite inspeccionar y validar manualmente la transfomación).

Además, a menudo encuentro que la autodetección de char-set de Emacs es mucho más eficiente que las otras herramientas de autodetección de char-set (como chardet).

(setq paths (mapcar 'file-truename '(
 "path/to/file1"
 "path/to/file2"
 "path/to/file3"
)))

(dolist (path paths)
  (find-file path)
  (set-buffer-file-coding-system 'utf-8-unix)
  )

Luego, una simple llamada a Emacs con este script como argumento (vea la opción "-l") hace el trabajo.

Vale la pena probar UTFCast. No funcionó para mí (tal vez porque mis archivos son terribles) pero se ve bien.

http://www.addictivetips.com/windows-tips/how-to-batch-convert-text-files-to-utf-8-encoding/

isutf8(del moreutilspaquete) hizo el trabajo

También en caso de que archives -i te da desconocido

Puede usar este comando php que puede adivinar el conjunto de caracteres como a continuación:

En php puedes marcar como a continuación:

Especificando la lista de codificación explícitamente:

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), 'UTF-8, ASCII, JIS, EUC-JP, SJIS, iso-8859-1') . PHP_EOL;"

" Mb_list_encodings " más precisos :

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), mb_list_encodings()) . PHP_EOL;"

Aquí, en el primer ejemplo, puede ver que pongo una lista de codificaciones (detectar el orden de la lista) que podrían coincidir. Para obtener un resultado más preciso, puede usar todas las codificaciones posibles a través de: mb_list_encodings ()

Nota: las funciones mb_ * requieren php-mbstring

apt-get install php-mbstring 

Ver respuesta: https://stackoverflow.com/a/57010566/3382822