TypeError: no se puede usar un patrón de cadena en un objeto de tipo bytes en re.findall ()

108

Estoy tratando de aprender a buscar automáticamente las URL de una página. En el siguiente código, intento obtener el título de la página web:

import urllib.request
import re

url = "http://www.google.com"
regex = r'<title>(,+?)</title>'
pattern  = re.compile(regex)

with urllib.request.urlopen(url) as response:
   html = response.read()

title = re.findall(pattern, html)
print(title)

Y recibo este error inesperado:

Traceback (most recent call last):
  File "path\to\file\Crawler.py", line 11, in <module>
    title = re.findall(pattern, html)
  File "C:\Python33\lib\re.py", line 201, in findall
    return _compile(pattern, flags).findall(string)
TypeError: can't use a string pattern on a bytes-like object

¿Qué estoy haciendo mal?

python python-3.x web-crawler Inspired_Blue
fuente
1
posible duplicado de Convertir bytes en una cadena de Python
gnat

Respuestas:

161

Quieres convertir html (un objeto similar a un byte) en una cadena usando .decode, por ejemplo html = response.read().decode('utf-8').

Consulte Convertir bytes en una cadena de Python

rocoso
fuente
Esto resolvió el error TypeError: cannot use a string pattern on a bytes-like objectpero luego obtuve errores como UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb2 in position 1: invalid start byte. Lo arreglé usando .decode("utf-8", "ignore"): stackoverflow.com/questions/62170614/…
baptx
"ignorar" ignora. Si eso es lo que quieres, entonces todo está bien. Sin embargo, a veces este tipo de problema oculta un problema más profundo, por ejemplo, que lo que desea decodificar realmente no es decodificable o no está destinado a serlo, por ejemplo, texto comprimido o encriptado. O podría necesitar alguna otra codificación como utf-16. Caveat emptor.
rocoso
28

El problema es que su expresión regular es una cadena, pero htmlson bytes :

>>> type(html)
<class 'bytes'>

Dado que Python no sabe cómo se codifican esos bytes, lanza una excepción cuando intenta usar una expresión regular de cadena en ellos.

Puedes convertir decodelos bytes en una cadena:

html = html.decode('ISO-8859-1')  # encoding may vary!
title = re.findall(pattern, html)  # no more error

O use una expresión regular de bytes:

regex = rb'<title>(,+?)</title>'
#        ^

En este contexto particular, puede obtener la codificación de los encabezados de respuesta:

with urllib.request.urlopen(url) as response:
    encoding = response.info().get_param('charset', 'utf8')
    html = response.read().decode(encoding)

Consulte la urlopendocumentación para obtener más detalles.

Aran-Fey
fuente