secuencia de bytes no válida para codificar "UTF8"

Estoy tratando de importar algunos datos en mi base de datos. Entonces he creado una tabla temporal,

create temporary table tmp(pc varchar(10), lat decimal(18,12), lon decimal(18,12), city varchar(100), prov varchar(2));

Y ahora estoy tratando de importar los datos ,

 copy tmp from '/home/mark/Desktop/Canada.csv' delimiter ',' csv

Pero luego me sale el error,

ERROR:  invalid byte sequence for encoding "UTF8": 0xc92c

¿Cómo arreglo eso? ¿Necesito cambiar la codificación de toda mi base de datos (si es así, ¿cómo?) O puedo cambiar solo la codificación de mi tmptabla? ¿O debería intentar cambiar la codificación del archivo?

Si necesita almacenar datos UTF8 en su base de datos, necesita una base de datos que acepte UTF8. Puede verificar la codificación de su base de datos en pgAdmin. Simplemente haga clic derecho en la base de datos y seleccione "Propiedades".

Pero ese error parece indicarle que hay algunos datos UTF8 no válidos en su archivo fuente. Eso significa que la copyutilidad ha detectado o adivinado que le está proporcionando un archivo UTF8.

Si está ejecutando alguna variante de Unix, puede verificar la codificación (más o menos) con la fileutilidad.

$ file yourfilename
yourfilename: UTF-8 Unicode English text

(Creo que eso también funcionará en Mac en la terminal). No estoy seguro de cómo hacerlo en Windows.

Si usa esa misma utilidad en un archivo que proviene de sistemas Windows (es decir, un archivo que no está codificado en UTF8), probablemente mostrará algo como esto:

$ file yourfilename
yourfilename: ASCII text, with CRLF line terminators

Si las cosas siguen siendo extrañas, puede intentar convertir sus datos de entrada a una codificación conocida, cambiar la codificación de su cliente, o ambos. (Realmente estamos ampliando los límites de mi conocimiento sobre codificaciones).

Puede usar la iconvutilidad para cambiar la codificación de los datos de entrada.

iconv -f original_charset -t utf-8 originalfile > newfile

Puede cambiar la codificación psql (el cliente) siguiendo las instrucciones del Soporte de juego de caracteres . En esa página, busque la frase "Para habilitar la conversión automática de juegos de caracteres".

psql=# copy tmp from '/path/to/file.csv' with delimiter ',' csv header encoding 'windows-1251';

Agregar encodingopción funcionó en mi caso.

Aparentemente puedo configurar la codificación sobre la marcha,

 set client_encoding to 'latin1'

Y luego vuelva a ejecutar la consulta. Sin embargo, no estoy seguro de qué codificación debería usar.

latin1hizo que los personajes fueran legibles, pero la mayoría de los personajes acentuados estaban en mayúsculas donde no deberían haber estado. Asumí que esto se debía a una mala codificación, pero creo que en realidad son los datos los que eran simplemente malos. Terminé manteniendo la codificación latin1, pero preprocesé los datos y solucioné los problemas de la carcasa.

Si está de acuerdo con descartar caracteres no convertibles, puede usar el -cindicador

iconv -c -t utf8 filename.csv > filename.utf8.csv

y luego copiarlos a tu mesa

Este error significa que la codificación de registros en el archivo es diferente con respecto a la conexión. En este caso, iconv puede devolver el error, a veces incluso a pesar del indicador // IGNORE:

iconv -f ASCII -t utf-8 // IGNORE <b.txt> /a.txt

iconv: secuencia de entrada ilegal en la posición (algún número)

El truco es encontrar caracteres incorrectos y reemplazarlos. Para hacerlo en Linux use el editor "vim":

vim (su archivo de texto), presione "ESC": botón y escriba ": goto (número devuelto por iconv)"

Para buscar caracteres no ASCII, puede usar el siguiente comando:

grep --color = 'auto' -P "[\ x80- \ xFF]"

Si elimina caracteres incorrectos, compruebe si realmente necesita convertir su archivo: probablemente el problema ya esté resuelto.

Siga los pasos a continuación para resolver este problema en pgadmin:

1. SET client_encoding = 'ISO_8859_5';

2. COPY tablename(column names) FROM 'D:/DB_BAK/csvfilename.csv' WITH DELIMITER ',' CSV ;

Depende de qué tipo de máquina / codificación generó su archivo de importación.

Si lo obtiene de una versión de Windows en inglés o en Europa occidental, su mejor opción es probablemente configurarlo en 'WIN1252'. Si lo obtiene de una fuente diferente, consulte la lista de codificaciones de caracteres aquí:

http://www.postgresql.org/docs/8.3/static/multibyte.html

Si lo obtiene de una Mac, es posible que primero deba ejecutarlo a través de la utilidad "iconv" para convertirlo de MacRoman a UTF-8.

Bueno, estaba enfrentando el mismo problema. Y lo que resolvió mi problema es esto:

En Excel, haga clic en Guardar como. Desde guardar como tipo, elija .csv Haga clic en Herramientas . Luego elija las opciones web de la lista desplegable. En la pestaña Codificación , guarde el documento como Unicode (UTF-8) . Haga clic en Aceptar. Guarda el archivo. HECHO !

Tuve el mismo problema y encontré una buena solución aquí: http://blog.e-shell.org/134

Esto se debe a una falta de coincidencia en las codificaciones de su base de datos, seguramente porque la base de datos de donde obtuvo el volcado de SQL se codificó como SQL_ASCII mientras que la nueva se codificó como UTF8. .. Recode es una pequeña herramienta del proyecto GNU que le permite cambiar sobre la marcha la codificación de un archivo determinado.

Así que acabo de recodificar el archivo de volcado antes de reproducirlo:

postgres> gunzip -c /var/backups/pgall_b1.zip | recode iso-8859-1..u8 | psql test

En los sistemas Debian o Ubuntu, recode se puede instalar a través del paquete.

Puede reemplazar el carácter de barra diagonal inversa con, por ejemplo, un carácter de tubería, con sed.

sed -i -- 's/\\/|/g' filename.txt

copy tablename from 'filepath\filename' DELIMITERS '=' ENCODING 'WIN1252';

Puedes probar esto para manejar la codificación UTF8.

Breve ejemplo para resolver este problema en PHP

$val = "E'\377'";
iconv(mb_detect_encoding($val, mb_detect_order(), true), "UTF-8", $val);

Detalle del error: como la base de datos POSTGRES no maneja otros caracteres que no sean UTF-8 cuando intentamos pasar las entradas dadas arriba a una columna, da un error de "secuencia de bytes no válida para codificar" UTF8 ": 0xab".

Entonces, simplemente convierta ese valor en UTF-8 antes de insertarlo en la base de datos POSTGRES.

Tuve el mismo problema: mi archivo no estaba codificado como UTF-8. Lo resolví abriendo el archivo con notepad ++ y cambiando la codificación del archivo.

Vaya a "Codificación" y seleccione "Convertir a UTF-8". ¡Guarde los cambios y eso es todo!

Este error puede ocurrir si los datos de entrada contienen el carácter de escape en sí. El carácter de escape predeterminado es el símbolo "\", por lo que si el texto de entrada contiene el carácter "\", intente cambiar el valor predeterminado con la opción ESCAPE.

Para python, necesitas usar

La clase pg8000.types.Bytea (str) Bytea es una clase derivada de str que se asigna a una matriz de bytes PostgreSQL.

o

Pg8000.Binary (valor) Construye un objeto que contiene datos binarios.

Me encontré con este problema en Windows mientras trabajaba exclusivamente con psql (sin herramientas gráficas). Para solucionar este problema, cambie permanentemente la codificación predeterminada de psql (cliente) para que coincida con la codificación predeterminada del servidor PostgreSQL. Ejecute el siguiente comando en CMD o Powershell:

setx PGCLIENTENCODING UTF8

Cierre y vuelva a abrir el símbolo del sistema / Powershell para que el cambio surta efecto.

Cambie la codificación del archivo de copia de seguridad de Unicode a UTF8 abriéndolo con el Bloc de notas y vaya a Archivo -> Guardar como. Cambie el menú desplegable Codificación de Unicode a UTF8. (También cambie Guardar como tipo de Documentos de texto (.txt) a Todos los archivos para evitar agregar la extensión .txt al nombre de su archivo de respaldo). Ahora debería poder restaurar su copia de seguridad.

También es muy posible con este error que el campo esté encriptado en su lugar. Asegúrese de mirar la tabla correcta, en algunos casos los administradores crearán una vista sin cifrar que puede usar en su lugar. Recientemente me encontré con un problema muy similar.

Recibí el mismo error cuando intentaba copiar un csv generado por Excel en una tabla de Postgres (todo en una Mac). Así es como lo resolví:

1) Abra el archivo en Atom (el IDE que uso)

2) Realice un cambio insignificante en el archivo. Guarda el archivo. Deshacer el cambio. Guardar de nuevo.

¡Presto! El comando Copiar funcionó ahora.

(Creo que Atom lo guardó en un formato que funcionó)

Abra el archivo CSV por Notepad ++. Elija menu Encoding\ Encoding in UTF-8, luego arregle algunas celdas manualmente.

Luego intente importar nuevamente.

Si su CSV se va a exportar desde SQL Server, es enorme y tiene caracteres Unicode, puede exportarlo configurando la codificación como UTF-8:

Right-Click DB > Tasks > Export > 'SQL Server Native Client 11.0' >> 'Flat File Destination > File name: ... > Code page: UTF-8 >> ...

En la página siguiente, le pregunta si desea copiar datos de una tabla o si desea escribir una consulta. Si usted tiene charo varchartipos de datos en la tabla, seleccione la opción de consulta y emitir estas columnas nvarchar(max). Por ejemplo, si myTabletiene dos columnas donde está la primera varchary la segunda int, lanzo la primera para nvarchar:

select cast (col1 as nvarchar(max)) col1
       , col2
from myTable