UnicodeDecodeError: el códec 'utf8' no puede decodificar el byte 0xa5 en la posición 0: byte de inicio no válido

Estoy usando Python-2.6 CGIscripts pero encontré este error en el registro del servidor mientras lo hacía json.dumps(),

Traceback (most recent call last):
  File "/etc/mongodb/server/cgi-bin/getstats.py", line 135, in <module>
    print json.dumps(​​__get​data())
  File "/usr/lib/python2.7/json/__init__.py", line 231, in dumps
    return _default_encoder.encode(obj)
  File "/usr/lib/python2.7/json/encoder.py", line 201, in encode
    chunks = self.iterencode(o, _one_shot=True)
  File "/usr/lib/python2.7/json/encoder.py", line 264, in iterencode
    return _iterencode(o, 0)
UnicodeDecodeError: 'utf8' codec can't decode byte 0xa5 in position 0: invalid start byte

Aqui

​__get​data()La función vuelve dictionary {}.

Antes de publicar esta pregunta, me he referido a esta pregunta de SO.

ACTUALIZACIONES

La siguiente línea está dañando el codificador JSON,

now = datetime.datetime.now()
now = datetime.datetime.strftime(now, '%Y-%m-%dT%H:%M:%S.%fZ')
print json.dumps({'current_time': now}) // this is the culprit

Tengo una solución temporal para ello

print json.dumps( {'old_time': now.encode('ISO-8859-1').strip() })

Pero no estoy seguro de si es la forma correcta de hacerlo.

El error se debe a que hay algunos caracteres no ascii en el diccionario y no puede codificarse / decodificarse. Una forma simple de evitar este error es codificar tales cadenas con la encode()función siguiente (si aes la cadena con caracteres no ascii):

a.encode('utf-8').strip()

Cambié esto simplemente definiendo un paquete de códec diferente en el read_csv()comando:

encoding = 'unicode_escape'

P.ej:

import pandas as pd
data = pd.read_csv(filename, encoding= 'unicode_escape')

Pruebe el siguiente fragmento de código:

with open(path, 'rb') as f:
  text = f.read()

Su cadena tiene un asciicarácter no codificado.

Es posible que no pueda decodificar utf-8si ha necesitado usar otras codificaciones en su código. Por ejemplo:

>>> 'my weird character \x96'.decode('utf-8')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:\Python27\lib\encodings\utf_8.py", line 16, in decode
    return codecs.utf_8_decode(input, errors, True)
UnicodeDecodeError: 'utf8' codec can't decode byte 0x96 in position 19: invalid start byte

En este caso, la codificación es windows-1252lo que debe hacer:

>>> 'my weird character \x96'.decode('windows-1252')
u'my weird character \u2013'

Ahora que lo tienes Unicode, puedes codificarlo de forma segura utf-8.

En la lectura csv, agregué un método de codificación:

import pandas as pd
dataset = pd.read_csv('sample_data.csv', header= 0,
                        encoding= 'unicode_escape')

Establezca el codificador predeterminado en la parte superior de su código

import sys
reload(sys)
sys.setdefaultencoding("ISO-8859-1")

A partir de 2018-05, esto se maneja directamente con decode, al menos para Python 3 .

Estoy usando el fragmento de abajo para invalid start bytey invalid continuation byteerrores de tipo. Agregar lo errors='ignore'arregló para mí.

with open(out_file, 'rb') as f:
    for line in f:
        print(line.decode(errors='ignore'))

Inspirado por @aaronpenne y @Soumyaansh

f = open("file.txt", "rb")
text = f.read().decode(errors='replace')

Esta solución funcionó para mí:

import pandas as pd
data = pd.read_csv("training.csv", encoding = 'unicode_escape')

Solución simple:

import pandas as pd
df = pd.read_csv('file_name.csv', engine='python')

La siguiente línea está dañando el codificador JSON,

now = datetime.datetime.now()
now = datetime.datetime.strftime(now, '%Y-%m-%dT%H:%M:%S.%fZ')
print json.dumps({'current_time': now}) // this is the culprit

Tengo una solución temporal para ello

print json.dumps( {'old_time': now.encode('ISO-8859-1').strip() })

Marcar esto como correcto como una solución temporal (no estoy seguro).

Si los métodos anteriores no funcionan para usted, puede considerar cambiar la codificación del archivo csv.

Usando Excel:

1. Abrir archivo csv usando Excel
2. Vaya a la opción "Menú Archivo" y haga clic en "Guardar como"
3. Haga clic en "Examinar" para seleccionar una ubicación para guardar el archivo
4. Ingrese el nombre de archivo deseado
5. Seleccione la opción CSV (delimitado por comas) (* .csv)
6. Haga clic en el cuadro desplegable "Herramientas" y haga clic en "Opciones web"
7. En la pestaña "Codificación", seleccione la opción Unicode (UTF-8) de la lista desplegable "Guardar este documento como"
8. Guarda el archivo

Usando el Bloc de notas:

1. Abrir archivo csv usando el bloc de notas
2. Vaya a la opción "Archivo"> ​​"Guardar como"
3. Luego, seleccione la ubicación del archivo
4. Seleccione la opción Guardar como tipo como Todos los archivos ( . )
5. Especifique el nombre del archivo con la extensión .csv
6. En la lista desplegable "Codificación", seleccione la opción UTF-8.
7. Haga clic en Guardar para guardar el archivo.

Al hacer esto, debería poder importar archivos csv sin encontrar el UnicodeCodeError.

Después de probar todas las soluciones antes mencionadas, si aún arroja el mismo error, puede intentar exportar el archivo como CSV (una segunda vez si ya lo ha hecho). Especialmente si está utilizando scikit learn, es mejor importar el conjunto de datos como un archivo CSV.

Pasé horas juntos, mientras que la solución era así de simple. Exporte el archivo como CSV al directorio donde están instalados Anaconda o sus herramientas de clasificación e inténtelo.

Puede usar cualquier codificación estándar de su uso y entrada específicos.

utf-8 es el predeterminado

iso8859-1 También es popular para Europa occidental.

p.ej: bytes_obj.decode('iso8859-1')

ver: documentos

En lugar de buscar formas de decodificar a5 (Yen ¥) o 96 (en-dash –), dígale a MySQL que su cliente está codificado "latin1", pero desea "utf8" en la base de datos.

Ver detalles en Problemas con los caracteres UTF-8; lo que veo no es lo que almacené